科大研发创新人工智能框架实现医学通用及专科模型高效协作

香港科技大学（科大）研究团队成功开发一套创新的人工智能（AI） 「通用—专科协作」框架（Generalist–Specialist Collaboration, GSCo），实现了医学通用基础模型和专科模型在疾病诊断任务的高效协作。研究结果显示，GSCo在医学影像诊断、视觉问答及放射报告生成等多项任务的表现，均比单独运

是次研究由科大计算机科学及工程学系、化学及生物工程学系助理教授、医工交叉联合创新中心主任陈浩教授带领的团队，联同哈佛医学院、威尔康奈尔医学院、香港中文大学、香港大学，以及中山大学等合作开展。

医疗AI模型一直面对两难局面。通用基础模型虽然基于庞大的医学语料库进行训练，具备灵活应对多元任务和精准识别影像模态的能力，但在单一疾病诊断上往往不够精准。反观专科模型，虽然提供精准的临床推理和专业诊断，但因过于专门，一旦面对新任务或部署于新医院时，便需重新训练。专科模型亦无法与临床医生一同以自然语言进行推理，面对新的医学影像诊断任务时，其准确率会大幅下降。此外，为每项新任务重复训练通用基础模型，运算成本不仅高昂，更受限于病人私隐合规限制，数据不能离开医院。因此，单一使用通用或专科模型，皆难以满足实际临床工作需求。

为应对上述挑战，是次跨院校国际团队开发出全新协作式 AI 框架「GSCo」。该框架建基于陈浩教授团队开发的开源医学通用模型 MedDr，利用多元医学影像模态和逾200万个样本对MedDr进行深度训练，并同步构建了一组轻量级专科模型，仅需单张消费级显示适配器（GPU）即可完成训练。在双向协作下，专科模型在AI推论过程中负责比对相似的过往病例，并提供诊断预测；MedDr则担当「核心决策者」的角色，负责将专科模型提供的证据与自身医学知识整合，从而作出最终诊断结果。

为验证GSCo的表现，研究团队在32个公开数据集、共约260,000张医学影像上进行全面评测，涵盖医学影像诊断、视觉问答及放射报告生成等多项任务。结果显示，MedDr的表现显著优于RadFM、LLaVA-Med及Med-Flamingo等现有医学通用模型，而GSCo在所有内部及外部基准检验中均取得整体排名第一，表现优胜于十个最先进的视觉基础模型。

在一项皮肤病变诊断测试中，团队首先利用HAM10000皮肤镜图像数据集训练专科模型，并透过GSCo框架，将其部署于全新的BCN20000皮肤镜图像数据集进行测试。结果显示，GSCo诊断表现高达0.8420分（满分为1.0），远胜通用模型 MedDr在零样本状态下取得的0.7545分，以及专科模型单独运作时的最佳成绩（0.8292分）。

在另一项针对胸部 X 光报告生成的临床人工评估中，七位执业放射科医生中有六位一致认为，GSCo生成的报告质量优于目前最先进的专科模型R2GenGPT。压力测试更进一步证实MedDr的高稳定度，即使故意引入系统性偏差，假设所有病理影像被错误判定为正常时，MedDr仍能正确辨识出67.6%的肿瘤影像。基于此出色纠错能力，GSCo的整体准确度因而得到显着提升。

与微调通用模型相比，调整GSCo以执行全新临床任务的研发成本可大幅降低近100倍。在GSCo框架下开发的专科模型，可在医院内部利用所属机构的数据进行训练；随后只需以匿名形式分享成果，便可确保病人病历毋需离开医院。

论文通讯作者陈浩教授表示：「医学 AI通用和专科模型各有所长，而GSCo的核心价值正是让两个独立运作的模型能以『协作者』身分并肩运作，并由通用模型担任总决策者，将专科模型的专家建议与模型自身广博的医学知识完美整合。团队期望，这一崭新框架能为医学基础模型融入临床工作流程，提供更切实可行的路径，尤其是让AI计算资源有限的环境，也能共享AI医疗成果。」

展望未来，研究团队计划将MedDr进一步扩展至计算机断层扫描、磁力共振成像等三维影像模态及医学影像领域。同时，团队将探索更先进的多模态及基于图结构的检索策略，并研究通用与专科模型之间更多元化的协作形式，例如引入测试时运算，以赋予模型深度思考能力，进一步提升诊断结果的准确度。MedDr开源通用模型和GSCo框架已公开发布，以推动全球科研及临床应用，详情请浏览：https://github.com/sunanhe/MedDr。