新智元报道
编辑：LRS
【新智元导读】人工智能席卷医学界，全科AI医生的野心不会止步于看X光！
图灵奖得主、深度学习先驱Hinton曾预言到，「人们现在应该停止培训放射科医生。很明显，在五年内，深度学习会比放射科医生做得更好。这可能需要10年的时间，但我们已经有了足够多的放射科医生。」
我认为，如果你是一名放射科医生，你就像一只已经走到悬崖边缘、但还没有往下看的野狼。
近七年过去了，人工智能技术仅仅参与并替代了部分放射员的技术工作，并且存在功能单一、训练数据不足等问题，让放射科医生的饭碗依然握得很牢。
但ChatGPT类的基础模型发布后，人工智能模型的能力得到了前所未有的提升，可以处理多模态数据、无需微调即可适应新任务的in-context学习能力，高度灵活、可重复使用的人工智能模型的迅速发展或许会在医学领域引入新的能力。
最近，来自多所美国哈佛大学、斯坦福大学、耶鲁医学院、加拿大多伦多大学等多所顶尖高校、医疗机构的研究人员在Nature上联合提出了一种全新的医学人工智能范式，即「全科医学人工智能」（generalist medical artificial intelligence, GMAI）。
论文链接：https://www.nature.com/articles/s41586-023-05881-4
GMAI 模型将能够使用很少或不使用任务特定的标记数据执行各种各样的任务。通过对大型、多样化数据集的自监督训练，GMAI可以灵活地解释医学模式的不同组合，包括来自成像、电子健康记录、实验室结果、基因组学、图表或医学文本的数据。
反过来，模型还可以生成具有表达能力的输出，如自由文本解释、口头推荐或图像注释，展现先进的医学推理能力。
研究人员在文中为 GMAI 确定了一组具有高影响力的潜在应用场景，并列出了具体的技术能力和训练数据集。
作者团队预计，GMAI 应用程序将会挑战目前的验证医学AI设备，并改变与大型医学数据集收集相关的做法。
医疗AI通用模型的潜力
GMAI模型有望比目前的医学人工智能模型解决更多样化和更具挑战性的任务，甚至对具体的任务几乎没有标签要求。
在GMAI的三个定义能力中，「能执行动态指定的任务」和「能支持数据模式的灵活组合」可以让GMAI模型和用户之间进行灵活的互动；第三种能力要求GMAI模型形式化表示医学领域的知识，并能够进行高级医学推理。
最近发布的一些基础模型已经表现出了部分GMAI的能力，通过灵活地结合多模态，可以在测试阶段动态地指定一个新的任务，但要建立一个具有上述三种能力的GMAI模型仍需要进一步的发展，例如现有的医学推理模型（如GPT-3或PaLM）并不是多模态的，也无法生成可靠的事实性陈述。
灵活的交互 Flexible interactions
GMAI为用户提供了通过自定义查询与模型互动的能力，使不同的受众更容易理解人工智能的见解，并为不同的任务和设置提供更大的灵活性。
目前人工智能模型只能处理非常局限的一组任务，并生成一套僵化的、预先确定好的输出，比如说模型可以检测一种特定的疾病，接受某种图像，输出结果为患这种疾病的可能性。
相比之下，自定义查询可以输入用户拍脑袋想出来问题，比如「解释一下这个头部MRI扫描中出现的肿块，它更可能是肿瘤还是脓肿？」。
此外，查询可以让用户定制其输出的格式，比如「这是一个胶质母细胞瘤患者的后续MRI扫描，用红色标出可能是肿瘤的部分。」
自定义查询可以实现两个关键能力，即「动态任务」和「多模态输入输出」。
自定义查询可以教导人工智能模型在运行中解决新的问题，动态地指定新的任务，而无需对模型重新训练。
例如，GMAI可以回答高度具体的、以前未见过的问题，比如「根据这个超声波结果，胆囊壁的厚度是多少毫米？」。
GMAI模型可能难以完成涉及未知概念或病理的新任务，而上下文学习（in-context learning）可以让用户用很少的几个例子来教GMAI学习新概念，比如「这里有10个以前患有一种新出现的疾病的病人的病史，即感染了Langya henipavirus，现在的这个病人也感染Langya henipavirus的可能性有多大？」。
自定义查询还可以接受包含多模态的复杂医疗信息，比如临床医生在询问诊断时，可能会在查询中输入报告、波形信号、实验室结果、基因组图谱和成像研究等；GMAI模型还可以灵活地将不同的模式纳入回答中，例如用户可能要求提供文本答案和附带的可视化信息。
医学领域知识
与临床医生形成鲜明对比的是，传统的医学人工智能模型在为其特定任务进行训练之前，通常缺乏对医学领域背景的了解（如病理生理过程等），只能完全依赖输入数据的特征和预测目标之间的统计关联。
缺乏背景信息会导致很难训练一个特定医疗任务的模型，特别是当任务数据稀缺时。
GMAI模型可以通过形式化表示医学知识来解决这些缺陷，例如知识图谱等结构可以让模型对医学概念和它们之间的关系进行推理；此外，在基于检索的方法的基础上，GMAI可以从现有的数据库中检索相关的背景，其形式包括文章、图像或之前的案例。
由此得到的模型可以提出一些警告，比如「这个病人可能会发展成急性呼吸窘迫综合征，因为这个病人最近因严重的胸腔创伤入院，而且尽管吸入的氧气量增加了，但病人动脉血中的氧分压却持续下降。」
由于GMAI模型甚至可能被要求提供治疗建议，尽管大部分是在观察数据的基础上进行训练，该模型推断和利用医学概念和临床发现之间的因果关系的能力将对临床适用性起到关键作用。
最后，通过获取丰富的分子和临床知识，GMAI模型可以通过借鉴相关问题的知识来解决数据有限的任务。
