网页首页>科技动态

科学家开发多模态视觉-语言眼科基础模型,助力临床眼部疾病检测与诊断
发布时间: 2025年10月13日  浏览次数:


随着人工智能在医疗领域的快速发展,基础模型(Foundation Models, FMs)展现出显著的临床应用潜力。然而,相关研究多局限于回顾性数据分析,缺乏在真实临床环境中与医生协作的全面评估。眼科作为多模态影像检查的常规领域,为开发和验证此类模型提供了理想场景。但目前基于眼科影像的基础模型多为单模态训练,未能充分模拟医生综合多模态信息进行诊断的实际工作流程。此外,FMs在真实临床环境中对患者结局的影响尚未得到充分验证。考虑到医学领域复杂的伦理、法律和社会挑战,AI应当作为增强而非替代临床医生专业知识的辅助工具。因此,亟需开展严谨的前瞻性验证和随机对照试验,为基础模型的临床转化提供循证医学证据。

近日,上海交通大学计算机学院联合清华大学医学院在《Nature Medicine》上发表了题为“An eyecare foundation model for clinical assistance: a randomized controlled trial”的文章。该研究开发了一种多模态视觉-语言眼科基础模型EyeFM,模拟医生问诊流程,实现单模态、多模态和跨模态眼部疾病检测与诊断。

研究团队利用来自全球多个民族的1450万张眼部图像和40万条相关临床文本对EyeFM进行开发,眼部图像包括彩色眼底照相(CFP)、光学相干断层扫描(OCT)、超宽视野眼底成像(UWF)、荧光素血管造影(FFA)和外部眼照相(EEP)。在回顾性验证中,EyeFM在单模态疾病检测、跨模态疾病检测、视觉问答等多种临床任务中,展现出了比现有基础模型相同或更好的性能。

为了验证基础模型是否能够与医生开展有效协作,研究团队开展了跨国临床辅助工具有效性验证,邀请北美、欧洲、亚洲和非洲地区44名眼科医生参与初级和专科诊疗场景,以验证EyeFM作为临床辅助工具的实用性。结果显示,使用EyeFM辅助的眼科医生在检测常见眼病方面的灵敏度显著提高,并且诊断时间明显减少。在资源相对有限的初级保健场景中,EyeFM能显著提升低年资医生的诊断水平,缩小不同级别医疗机构间的诊疗差距。此外,研究团队还采用双盲随机对照试验,评估了EyeFM在高风险人群视网膜疾病筛查中的效果。结果显示,基础模型能够有效提高正确诊断率和正确转诊率,证明了AI辅助有助于改善患者的临床结局。

该研究首次整合了五种眼部成像模态及对应的临床文本,模拟了眼科医生在日常工作中综合多种信息进行诊断的完整流程,使基础模型成为了功能全面的“临床助手”,而非孤立的诊断工具。研究提供了一个分阶段、多维度基础模型临床验证框架,该框架未来将有望成为医学AI工具的临床转化验证体系。

论文链接:https://doi.org/10.1038/s41591-025-03900-7

注:此研究成果摘自《Nature Medicine》杂志,文章内容并不代表本网站的观点和立场,仅供参考。