以人为中心的 AI 才是真正有活力的 AI。
在 WAIC 2022 AI 开发者论坛上，清华大学惠妍讲席教授、IEEE/CAAI Fellow、衔远科技创始人周伯文发表主题演讲《多模态人工智能进展与可信赖 AI：从原则到实践》。
在演讲中，他主要介绍了多模态 AI 近期的突破以及可信 AI 的挑战。目前人工智能正在从 “AI” 走向“可信赖 AI”。在全球范围内，可信赖 AI 也正逐渐成为学术界和工业界研究和关注的热点问题。但是，可信赖 AI 依然面临很多问题。
以下为周伯文在 WAIC 2022 AI 开发者论坛上的演讲内容，机器之心进行了不改变原意的编辑、整理：
非常感谢主办方的邀请，今天有机会跟大家分享我在多模态人工智能进展的思考。
我们在用技术解决问题的时候，不仅要考虑到未来技术演进的路线，还要有技术信仰，因为解决当下问题的很可能是未来的技术。
1894 年的伦敦是一个人口密集的繁华大都市，同时也是世界贸易中心，这座城市的交通运输却完全依靠马车。结果就是，直到 1894 年，数以万计的马生活在伦敦。据计算，每一匹马每天都要制造 15 磅到 35 磅不等的粪便，这些粪便堆积在道路上，远远超过了清理速度。
英国的《泰晤士报》在 1894 年做出 “50 年内马粪将淹没伦敦” 这一警示预言，然而这一预言并未发生，因为到了 20 世纪初，问题突然就解决了——汽车出现了！很快马车就被淘汰了，“马粪危机”被完美地用另外一种方式解决了。
我从京东来到清华之后，建立了协同交互智能研究中心，研究的方向主要是智能体跟以人为中心的世界和环境交互的过程中，如何不断迭代和自我学习，包括多模态表征、交互、推理，人机协同演绎，大小模型共同演化等各个方面。研究的核心基石是围绕可信赖 AI 做设计。
今天的演讲包括三部分，第一是多模态的进展。
1、多模态 AI 近期的突破
多模态在 AI 领域研究很久了，但是在过去几十年都是相互分离的，每个方向有自己的模型，也不太沟通。但是最近几年，我们越来越多看到大家在构建统一的、跨场景、多任务的多模态基础模型。
比如 Omvivore 和 Data2vec 是 Facebook 近期的工作。前者采用统一的预训练模型处理视觉 (图片、视频、3D 图像) 三种模态的输入, 并将其映射到统一的特征空间；后者采用统一的模型和训练框架，分别训练文本、图像、语音的预训练模型(不同模态分别训练预训练模型)。
Bridge-Tower（MSRA）提出了多模态预训练模型新的特征融合方式，即在单模态表示学习的中间层也能进行跨模态的交互。其结构既能有效应对模态缺失的挑战(相比单流预训练模型)，又能更好的学习模态的交互(相比双流预训练模型)。该多模态预训练模型在多个单模态任务上取得了不错的结果。
这三个模型反映了多模态预训练的趋势：设计统一的、跨任务、跨模态的多模态预训练模型，包括统一的结构、统一的参数、统一的训练方式，应对多个多模态任务或单模态任务。
多模态进展的第二个方向就是在下游任务中的自监督学习。通过构建自监督的任务，提高多模态模型的表征能力，缓解缺少大规模监督数据的挑战。
多模态进展的第三个方向就是表征跟知识的融合开始再进一步拓展。大模型中有非常多隐性的知识，如何优化、迭代它们，都是非常重要的研究热点，也是我们关注的方向。这里有几个工作特别值得跟大家分享。
第一个是基于视觉的知识回答，融合 GPT3 导出的隐式知识和显式外部知识，通过 Transformer 融合文本、图像和知识的表示，执行基于知识推理的 VQA 任务。第二个是对于隐性知识的描述，根据图片内容生成图片描述，并推测图片中发生的事件的原因，以文本的方式输出可能的解释。第三个是在电商领域做的工作，将商品属性相关的结构化知识融入到电商多模态预训练任务中。通过构建链接预测损失，建模结构化知识与多模态实体概念间的关联。显式 / 隐式地融入知识，强化模型的知识和推表征理能力，提高模型的可解释性。
多模态人工智能另外一个方面的进展就是交互式 AI 将可能成为一种趋势，传统研究大多是 AI 模型与数据之间的交互，包括各种预训练模型，本质上是学习互联网上海量文本、图片等不同模态数据的内在规律。
因算力、数据资源的限制，仅依赖互联网上数据学习很大可能会达到瓶颈，而反观人类往往能在交流中习得新的知识和技能，因此通过交互将有可能进一步提升 AI 的能力，包括模型之间的交互（通过梯度、模型参数甚至自然语言交流）、模型与人类的协同交互、模型与世界环境的交互等等。不管是孔子与七十二门徒还是西方的雅典学派，知识的传播、形成、迭代都是通过老师和学生的互动来完成的，如何让人工智能能够自主学习并不断迭代新的知识是我们在清华的重要研究方向。
此外，交互式 AI 也会面临一些问题，包括数据和模型等方面的问题，比如 Meta Blenderbot 数据导致的伦理问题，以及 Google PaLM-SayCan 在真实世界中交互使用可能面临模型可控性问题等。
Blenderbot3.0 对扎克伯格和 Yann LeCun 截然不同的评价，与 Facebook 中用户的真实发帖对话有关。为了解决这种问题，Meta 采取用户反馈进行在线的持续学习来调整模型。
基于大规模语言模型“大脑”（Pathways LM，PaLM），可以实现机器人在真实环境的指令执行操作，能够达到非常好的效果。但也会衍生新的可控性问题，就如同“bull in china shop”（闯进瓷器店的公牛）。解决的办法就是不断给机器人反馈，让其不断学习、迭代，就跟小孩子一样，小时候可能会打碎瓷器，但是慢慢地就能避免这个行为。
多模态的理解 + 交互式的学习和以人为中心的设计模式，未来的应用空间会越来越大。但在这个过程中也有很大的挑战，就是如何让 AI 的理解和执行更加可控，如何让 AI 变得更可信赖。
2、可信赖 AI 落地面临的挑战
人工智能面临诸多挑战。在鲁棒性层面，AI 面临着多样化的风险；在公平无偏层面，我们发现广泛存在 AI 偏差的风险，比如谷歌的人脸识别和机器翻译对性别的默认。还有消费互联网推荐系统中的无偏挑战，在用户 - 数据 - 推荐系统的闭环里，用户的行为会影响数据，数据会影响算法，如果数据不具有广泛的代表性，这个算法会出现偏差，然后偏差会不断放大，导致“马太效应”。这就是人工智能落地发生的真实挑战。
近年来，我们持续推动 “可信赖 AI” 的系统性建设。我在 IBM 的时候就推动可信赖人工智能的研究，虽然这几年大家开始更多地提到可信赖 AI，但我早在 2016 年就在这方面做了一些探索，2019 年我在乌镇互联网大会就提出了可信赖 AI 的六个原则和要素：鲁棒性、可解释、可复制、公平、隐私保护、负责任和价值对齐。
2021 年 1 月，在瑞士达沃斯论坛上，我们和 MIT 专门做了人工智能的交流论坛，凝聚了全球的共识。最近的工作是刚刚一篇论文被 ACM Computing Surveys 录用，这个论文把过去几年可信赖 AI 在原则、实践的技术进展做了梳理。接下来我把论文的主要思想和观点跟大家做分享。
目前人工智能正在从 “可用 AI” 走向“可信赖 AI”；可信赖 AI 是未来人机协作的指导性原则，引导 AI 在协作中承担更多的保障性任务。
人工智能一定具有社会属性，所以技术挑战带来的社会属性也会倒逼我们思考技术进步。由于时间关系，今天着重讲一下可解释性。
可解释性的价值很容易理解。传统的黑盒 AI 会给人们的使用造成困扰，比如对于模型的工作机理未知，不明白模型为什么预测这样的结果；更不知道模型何时成功或者失败；因此很难根据模型结果来纠正错误。而可解释性 AI 模型，在做出决策的同时还能给出解释，因此能够让使用者理解 AI 模型是如何做决策的，并在此基础上针对错误的预测进行纠正。以人为中心的 AI 才是真正有活力的 AI。
梳理可解释性 AI 方法的分类，可以把它分成设计可解释模型 Ante-hoc 和解释模型的行为 post-hoc，Ante-hoc 里面包括传统模型和非传统模型，传统模型包括 KNN、决策树，非传统模型有因果推理、知识图谱；post-hoc 里面包括模型相关型的解释和模型无关型的解释，模型相关型包括基于特征的重要性分析，和基于特征的语义分析，模型无关型包括解释器模拟和样例驱动。
Ante-hoc 可解释模型方法，大家最信任的就是决策树。挑战在于，决策树带来的可解释性虽然很好，但是模型的复杂度有上限。决策树大到一定程度，虽然有局部的可解释性，但是宏观的可解释性就丢失了。
正是因为这样，post-hoc 是我个人比较喜欢的方向，它把模型的复杂度和可解释性分成两部分，举一个例子就是 LIME。
LIME 是一种模型无关的局部解释性方法。LIME 算法中，通过可解释性模型 g（例如线性模型）在样本 x 局部区域线性近似原始模型 f，学习一个线性分类模型进行解释（对于线性模型的可解释性约束仍然是个很难定量的决策）。
能够使用线性分类模型进行局部模拟的原因在于：对于样本 X，在其附近进行采样，可以很容易使用一个线性决策面进行分类。进而来逼近原始模型，从而在 X 样本处进行解释（局部）。
这里展示一个邮件文本分类的例子，可以通过 LIME 算法对模型分类错误的原因进行可解释性分析；使用 LIME 算法进行线性模拟之后，我们可以得到每个单词在各类别中的权重，可以发现 Posting、Host 等类别无关的单词影响了分类结果，而这些单词应该是类别无偏的。
LIME 也存在一些缺陷，比如 X 的邻域定义比较困难；后续提出的 SHAP 给出更合理的计算，采用博弈联盟中 shapley 值进行建模，同时能够给出正负权重。
基于注意力机制进行特征重要性分析，我们提出了 multi-hop attention 机制。
自注意力的可视化，以 Yelp 评论文本分类为例，一星和五星的评论在单词重要性上存在明显区别。
可解释性的特征语义解释方法，不仅仅寻求答案，而是把寻求为什么作为目标去训练神经网络。模型内部，在 MRC 任务给出答案支撑事实；模型外部，在 QA 任务中给出答案的推理过程，通过推理过程自洽性提高准确率。
3、可信赖 AI：A Wholistic View Is Needed
解读可信赖 AI 我们提出了很多维度，包括鲁棒性问题、领域迁移泛化性表示、基础模型强泛化性，计算复杂性的泛化机理，可解释性问题等等，这些虽然都是不同的维度，但是它们内在有非常强的关联，关联的核心来自于错配。错配包括两个方面：一个是数据分布的错配，另外一个是维度的错配。这两个错配导致可信赖 AI 面临很多问题。
机器学习，特别是深度学习分类模型的过程是将高纬度 (n) 数据通过 n-1 维决策面进行判别区分。实际研究对象其实只有 k 维，其中 k<<n。为了提高准确性，如 Adi Shamir 等的工作指出，我们的学习算法会强迫模型利用余下的 n-k 维，而这 n-k 维则带来了一系列问题。
对抗样本本身可以看做是数据分布外情形的特例，因此鲁棒性某种意义上也是受制于有限数据分布自生限制；也就是说，大量冗余相关的特征关联，会限制表示鲁棒性；学习到存在众多的虚假关联，导致泛化性差；此外，由于虚假关联特性，从而难以可解释。
在全球范围内，可信赖 AI 也正逐渐成为学术界和工业界研究和关注的热点问题。可信赖 AI 所涵盖涉及的问题复杂且多样化，目前全球的 AI 从业者正从不同的角度对其开展了广泛的研究。
原来我们的研究都是把每个维度单独去研究，比如说做可信赖 AI，专门研究可解释性，但是通过我们的深入，我们认为要从整体去看人工智能，单纯一个维度一个维度地解决不是很好的办法。可信赖 AI 的落地需要考虑各个维度的相互作用。这是第一个学术观点。
第二个学术观点，可信赖 AI 的落地需要跨领域的系统协作。可信赖 AI 是端到端的流程，仅仅关注算法是不够的。比如在工业界，要做一个可信赖 AI 的系统，我们从用户需求的调研和用户问题的提出开始，就要思考这是不是可信赖 AI 的问题，再到数据的收集标注，算法设计，开发上线，最后到产品交付，保持用户体验，从工业角度来讲，关注的是全部的流程，但是学术界更关注的是中间算法这部分，所以可信赖 AI 的落地需要学界、产业界和监管部门一起努力。
我们的研究方向在哪里，通过这张图我们试图去回答这个问题。这张图有两个维度，横向列出了可信赖 AI 的八个原则，纵向讲的是端到端有哪些环节，这个图里面有不同的颜色，它们是不同领域的论文。学术界和工业界对可信赖 AI 的关注度和领域有很大的互补性，很多地方是空白的，这就是我们努力的方向。
以上就是我今天分享的内容，谢谢大家。我们衔远科技（Frontis.cn）致力于通过以上介绍的各种新的技术去解决产业数智化转型中的各种有趣且重要的问题，非常欢迎感兴趣的朋友加入我们！
