中国人工智能学会通讯——构建强健的人工智能:原因及方式

我今天的演讲跟前面那些可能有所不同，技术性没那么强。当然，我也会讲到一些数学知识，但更多的内容还是关于人工智能所面临的挑战，以及我们现在所用的一些安全的解决方法。

首先，我会讲一讲我们对于强健AI（robust artificial intelligence）的需求、背后的目的何在。然后，我要谈一下，在模型不完整时，AI 系统需如何来正常工作。

我们知道，现在世界上还有很多东西是人工智能不知道的，我们的目标就是要知道，有什么样的方法能让AI 研究社区来解决这些问题。

人工智能已经有61 年的历史了，我们怎样才能应对人工智能的不确定性，特别是这些未知的未知（unknown unknowns）？

近年来，人工智能在技术上的长足进展，让我们可以考虑一些高风险领域的进一步应用，比如无人驾驶、自动帮医生做手术的外科手术机器人，还有在金融市场从事自动化交易的人工智能，另外还有一些基础设施相关的人工智能，比如我的同事正设法用人工智能来提升电网的管理效率。

当然，也有一些极富争议的应用，例如，具备自主攻击能力的武器系统。我认为这是一个很糟的主意，世界各国应该就此协商，签署一份限制此类自主攻击武器研发的条约。

所有这些系统都要去做出很多事关生死的重大决策，而人工智能和机器学习历经多年的坎坷挣扎，如今不过是勉强能用。我们并没有太多的时间来思考高风险应用上的强健性问题，但我们需要系统在面对错误时也能十分稳定的运行、不出故障。

这里的错误包括很多方面，比如，有时会有人为的错误，还有一些会是网络攻击，或是设计者和使用者一开始就要求系统去做错误的事情，但我今天要讲的两个重点则集中在不正确的模型与无法建模的意外现象方面。

为什么我如此担心那些无法建模的现象？有两个原因，一是我们没有办法对世界上所有东西都建模；二是没有必要对所有东西都进行建模。

就人工智能的历史而言，我们所讨论的问题集中在两个方面：其一是先验条件问题（qualification problems），我们无法把某个行动所有的先决条件全都数字化。比如一辆车要起步，那么燃料、电池、车钥匙就要考虑在内，但还有其他的条件我们可能就忘记了，此类我们所无法完整考虑的先决条件是无穷无尽的。其二是分支问题（ramification problems），也就是说，我们无法把一个行动可能会产生所有的后果加以数字化。这里，我认为同样重要的一点是，不要把所有的东西都进行建模。

我们都知道，机器学习关于错误率的基本理论是，模型的出错率与其复杂程度成正比，与样本的大小成反比。如果数据量很小，我们就不能用特别复杂的模型，尤其是深度网络，因为它们相当复杂。其结果就是，在样本很小的情况下，我们的模型就必需非常简单。我们的模型要比现实世界简单，尽管这一点大家心知肚明，但我们还是要使用简单的模型。我们必须慎重地简化模型，因为这是优化预测准确度的方法。

一个AI 系统，是需要在没有对整个世界完全建模的情况下有用的。当我们看一些安全至关重要的应用时，它会有什么结果呢？

接下来我会讲一讲达到强健的AI 的一些方法，以及我们作为一个研究社区的一些想法。

首先从生物学来看，进化其实并不是优化，它只是选择在这个环境能够存活下来的有机物。我们可以说，生物学上的进化其实就是选择最强健的物种。因为，这个地球上现存的物种经历了各种挑战，比如说气候变化等。

我们能够存活下来，是因为要跟很多其他的动物进行竞争，它让我们更强壮。同时，我们还有很多不同的个体组成的群体。另外，每个人内部也有冗余，比如说每个基因都可以分为隐性和显性，这样我们可以把自身没用到基因传给未来的子孙后代，让我们得以保持基因的多样性。我相信，生物学给了我们很多关于强健的AI 系统的启发。

这是我的演讲大纲。首先，我会讲“robustness to known unknowns”，我们的模型包含了反映外界重要因素的变量，但是我们对它们是不确定的。接下来，我会讲“robustness to unknown unknowns”，针对无法建模的现象。