MRI 图像因其复杂性和数据量大,一直以来都是医学影像分析中的一大挑战。为了训练大型语言模型(LLM)进行 MRI 分析,开发者不得不将获取的图像切割为2D 图像,这样的处理虽然可行,但却限制了模型对复杂解剖结构的分析能力,尤其是在脑肿瘤、骨骼疾病或心血管疾病等复杂案例中。
图源备注:图片由AI生成,图片授权服务商Midjourney
不过,GE 医疗在今年的 AWS re:Invent 大会上发布了行业首个全身3D MRI 研究基础模型(FM),这标志着 MRI 模型终于可以利用整个身体的3D 图像。这一模型是基于超过173,000张来自19,000个研究的图像构建的,开发团队表示,通过这一新模型,训练所需的计算能力比以往减少了五倍。
尽管 GE 医疗尚未将这一基础模型商业化,目前仍处于研究阶段,早期评估者马萨诸塞总医院(Mass General Brigham)即将开始实验使用这一模型。GE 医疗的首席人工智能官帕里・巴蒂亚(Parry Bhatia)表示,希望将这些模型赋予医疗系统的技术团队,帮助他们更快速、经济地开发研究和临床应用。
这一模型的出现将实现对复杂3D MRI 数据的实时分析。GE 医疗团队在先进技术方面已有十年积累,其旗舰产品 AIR Recon DL 是一种深度学习重建算法,能帮助放射科医生更快地获取清晰图像,并可将扫描时间缩短多达50%。此外,该3D MRI 模型可以支持图像与文本的搜索、链接,并对疾病进行分割和分类,期望能为医疗专业人员提供比以往更详尽的扫描信息。
在数据处理上,开发团队采用了 “调整与适应” 的策略,使模型能够处理各种不同的数据集,即便有些图像数据不完整,模型也能够跳过缺失部分。此外,半监督的学生 - 教师学习方法也被运用,以提高模型在有限数据条件下的学习能力。
为了解决构建此复杂模型过程中遇到的计算和数据挑战,GE 医疗利用了亚马逊的 SageMaker 平台,结合高性能 GPU 的分布式训练能力,显著提升了数据处理速度和模型训练效率。这一切都在确保符合 HIPAA 等合规标准的前提下进行,以期为患者提供更个性化的医疗服务。
目前,该模型虽然专注于 MRI 领域,但开发者们看到了向其他医学领域扩展的巨大机会。未来,基于这一基础模型,或许可以为放射治疗等领域提供更快、更高效的解决方案。
划重点:
🧠 GE 医疗推出行业首个全身3D MRI 研究基础模型,显著提高影像分析能力。
💻 新模型通过调整数据处理策略,减少计算资源消耗,提高训练效率。
🚀 该模型未来有望拓展至其他医学领域,助力更精准的医疗服务。