临床决策高度依赖多模态数据整合，包括病理图像与临床文本等。然而，现有AI模型受限于标注数据稀缺，难以有效融合多模态信息。尤其在癌症预后预测、免疫治疗响应评估等复杂任务中，单模态模型的准确性面临挑战。开发能够整合多模态信息且无需大量标注数据的基础模型，成为精准肿瘤学的关键需求。

近日，斯坦福大学团队在《Nature》发表了题为“A vision–language foundation model for precision oncology”的研究论文。该研究提出了多模态统一掩码建模（MUSK）模型，通过大规模无标注病理图像与文本的预训练，实现了跨模态特征的高效对齐，并在23项临床任务中展现出卓越性能。

MUSK模型采用两阶段预训练策略：首先基于5000万病理图像与10亿病理相关文本进行掩码建模，学习跨模态通用表征；随后利用100万图像-文本对进行对比学习，增强视觉与语言特征的语义对齐。模型在零样本学习场景下，于图像-文本检索任务中Recall@50达到74.8%（95% CI:73.6-75.9%），较次优模型提升4%。在黑色素瘤复发预测中，MUSK的AUC达0.833（95% CI:0.818-0.847），特异性较现有模型提升15%。更值得注意的是，在包含16种癌症的泛癌预后预测中，MUSK的c-index均值达0.747，显著超越临床分期（0.645）与单模态模型（图像0.654，文本0.673）。对于免疫治疗响应预测，MUSK在肺癌队列中实现AUC 0.768（95% CI:0.724-0.812），c-index达0.705，较PD-L1表达等传统生物标志物提升超过20%。

该研究首次证明多模态基础模型在复杂临床决策中的普适性价值。通过整合病理图像的空间特征与临床文本的语义信息，MUSK不仅提升了诊断精度，更在预后分层、治疗响应预测等关键场景中展现出临床转化潜力，为个体化癌症治疗提供了新范式。

论文链接：

https://www.nature.com/articles/s41586-024-08378-w

注：此研究成果摘自《Nature》杂志，文章内容并不代表本网站的观点和立场，仅供参考。