随着一大波公司涌入AI医疗领域,一股现代的淘金风潮再度掀起。
但由于其高风险性,FDA将会监管这些软件。在美国,虽然《21世纪治愈方案》已经撤销对部分CDS的监管(ClinicalDecisionSupport,临床决策支持),并表示还将撤销对更多项目的监管,但确凿无疑的是,FDA会继续监管高风险的CDS。问题的关键在于:FDA该如何监管集成了机器学习技术的高风险CDS?
一些人称医疗领域中的机器学习应用太新,我们并不知道FDA将会作何反应,但事实并非如此,FDA已经有数十年的机器学习监管经验了,并且幸运的是,这能给我们一些有用的提示:当这种技术大幅扩张时,FDA将会作何反应?
FDA对机器学习技术的监管实践
1998年始,FDA放射健康部门已经开始监管计算机辅助识别系统,在大多数情况下,这些软件利用复杂的算法找出医学影像中的病灶区。最初,他们被认定为三级设备——这意味着最高风险级别和最大监管力度,后来,FDA又评定其为二级,即认定其风险级别适中。这些软件被出售给临床影像医生使用,指导医生看片,但医生不能完全依靠这些软件。在理论上,这些软件风险为零,但是FDA怀疑影像医生将会完全依靠系统检查,而对其风险警告置若罔闻。
2012年,FDA发表了一系列指导文件,其中涵盖了与这类软件有关的所有规定。在这些文件中,FDA重申了此前法规明确说明了的内容:按软件的临床应用分类将有效提升监管水平。FDA区分出了CADe和CADx,前者仅标出病灶,后者还会进一步给出疾病诊断和分类,明显,CADx的风险级别更高,因为需要监管更加严格,通常被认定为三级。
但是FDA对于CADx的态度也在与时俱进。就在上个月,2017年7月,FDA决定将识别可以癌症病变的CADx降级为二级,FDA的此项举措强调了“计算机辅助医疗影像中可疑癌症病变识别”,这种软件基于从医疗影像中提取的信息或特征,识别病变,并且提供病变信息。将其评定为二级软件是一个“大跨步”,极大促进了这种软件的发展。因为三类产品的制造商必须提交一大摞上市前批准申请,并进行大范围的临床试验;而二级产品制造商仅需要阐明他们的产品基本上与市面上已有的产品相同(可能也需要临床试验,但无论临床设计或实验范围上,都更加适中。)
而对于集成了机器学习算法的影像分析软件,FDA已经有了一套相对成熟的临床试验监管办法。研究人员可以创建一套医学影像数据集,其中包含了已确诊的正常人和患者影像,申请者可以设计临床试验对比有无软件辅助的情况下每组最终的诊断效果。当然,还有其他可能的临床设计,这取决于申请者需要证明的假设是什么。
除此之外,FDA有了一套相对明确的审查指标来审查集成了机器学习算法软件。在2012年的指导性文件中,FDA列出了这些指标,比如算法设计、特征、模型、用于训练和测试算法的数据集以及使用的测试数据“卫生程度”。后者是非常重要的,因为有些申请者没有基于测试集选择分类 ,显然这是不允许的。FDA想要知道公司是如何获取数据的,以保证数据能反应真实情况。
FDA判断公司试验所用的统计方案和研究假设是否合适方面已经有了丰富的经验,以他们的经验来看,许多申请者的研究中包含了多个假设,这可能影响后续的数据分析、统计方案等,总而言之,FDA最重要的目标之一是确保产品设计和临床验证中能反映其预期用途。
FDA已经收到了一些申请,其中明确声明了他们的系统中有机器学习算法——这被FDA称作“适应性系统”,随着之后进入市场,使用过程中搜集更多新证据,这样的系统会不断进化。事实上,开发一套适应性系统是大多数开发者的终极目标,但这给FDA造成一定的挑战,因为现有的法规是:医疗设备一旦有改动,必须重新取得批准。如果这个设备自行进化,到哪个时间点需要重新批准呢?同样,FDA必须决定什么程度的改变需要重新验证。至少在某些情况下,简单的确定软件参数以控制软件是远远不够的。
除此之外,还有许多其他悬而未决的问题,比如软件开发商是否能重新使用其测试数据集;训练或测试的数据量如何确定。FDA很可能要求开发上在数据集汇总加入噪声以确保其验证软件的变化。
这些大都是医疗影像软件领域的事情,FDA也开始插手其他机器学习技术在其他医疗软件领域应用,他们已经收到大量这些领域的批准申请,比如分析实验结果;关键生命体征的远程监控以及脑电图等信号领域。FDA设备中心的其他部门也在面临机器学习相关问题,很有可能咨询放射健康部门的同事。
基于FDA的经验,我们可以推断出至少4点:
-
公司不得不长期布局,并且着重考虑系统的预期临床用途。除为医生解释具体疾病提供要点参考和特定的低风险特征外,任何其他的事情都可能提升面临的监管力度。
-
分类将会是个大问题。FDA可能会考虑到机器学习的特定用途,将其视作一项全新的技术,因此规定全新的分类规则。如果是这样,将此类产品带入市场的第一家公司或者以三类设备的标准申请批准,或通过将产品风险重新分类以寻求产品分类标准的降级。但这并非意味着前途黯淡和厄运连连,我们知道,FDA在将会灵活应对。在许多例子中,FDA允许在现有的产品中集成机器学习技术,并以二类设备的标准批准。
-
如果产品不能构建一个令人信服的验证标准,那么研究设计可能会很复杂。在放射科,大多数案例中,通过活检和其他诊断过程,我们能建立一个客观性的标准。其他领域的智能化需要更加有创造性的临床试验设计。
-
应用机器学习技术到放射科过程中,FDA已经意识到的所有技术性问题将转化成其他形式的机器学习问题。FDA官员很可能求助于放射健康部门的官员咨询机器学习问题,这尤其适用于与自适应系统有关的其他更具挑战的监管问题。
好消息是,FDA似乎很关注机器学习的价值以及这项技术将如何变革医疗行业,所以,在大多数情况下,他们可能对该技术的缺陷抱有理解态度,并不想不合时宜地一贯阻止。此外,近期,FDA发布了软件监管的一系列改善性措施,这可能对正在开发的机器学习产品有益。例如,FDA似乎有益让产品上市前批准更加容易一些,与此同时, 对上市后制造商搜集大范围应用的证据要求高。无论如何,FDA对于临床和严谨性的担心必须要用恰当的证据来应用。
结论
FDA一直在研究机器学习技术,对其的了解越来越多。但是,从实践操作层面来讲,FDA很难招募并且留下机器学习专家,因为他们在公司中挣得更多。
FDA的医学影像、诊断等部门已经在研究计算机辅助诊断技术了,有一天,可能会公布一些列模拟、分析工具和有价值的数据,这将加速医疗软件的发展。同时,通过研究机器学习先驱者20多年的路途,后来者或许能找到推广新技术的最佳方法。