Google DeepMind团队在《自然》杂志发表论文，公布玩游戏比人厉害的AI是如何做出来的。
电脑会玩游戏已经不算稀奇，比方说，一般人玩棋类游戏已经玩不过计算机了。但如果事先不告诉计算机应该怎么玩，而只是给它提供这三样东西：控制器、显示器、游戏得分，让它看着显示器的显示控制控制器，然后要求它尽可能得高分，那基本上大部分的 AI 就一筹莫展了。
所以，当 2013 年 12 月 DeepMind 的团队首次展现他们靠不断试错学习最后成为击败人类专业玩家的游戏高手AI时，许多在场的 AI 专家都感到有些震惊。这些 AI 靠着对游戏视频的观察来寻找出模式，然后操作控制器，并获得得分的反馈结果（高分奖励）。
在反馈中不断调整自己的控制，最后 AI 完全靠自学而不是编码学会了玩 49 种 Atari 视频游戏，其中 43 种游戏玩得比之前的 AI 都要好；并在 23 种游戏中击败了人类的职业玩家。这些游戏当中，简单的弹球和拳击游戏 AI 玩得最好，但是像经典的消砖块 Breakout 游戏也能玩得很好，甚至还学会了打开一条通道让球跑到后面去消掉砖块（参见下面视频，注意观察 AI 如何在游戏中改进自己的策略），这种技巧往往只有老练的玩家才会。许多研究人员 1 年后对他们如何做到仍感到困惑不已。不过现在他们不用困惑了，因为 DeepMind 团队现在已经在《自然》杂志上公布了自己的研究成果：Human-level control through deep reinforcement learning—通过深度强化学习实现人类水平的控制。
总的说来，DeepMind 的 AI 的设计核心是如何让计算机自行发现数据中存在的模式。其解决方案是深度神经网络与强化学习等方法的的结合。AI 并并不知道游戏规则，而是用深度神经网络来了解游戏的状态，找出哪一种行为能导致得分最高。尽管利用模拟神经网络来教电脑玩游戏（如军棋游戏）的方法已经使用了几十年，但是从未有人能像 DeepMind 团队那样以如此有用的方式结合到一起，智能系统普朗克学院的Bernhard Schölkopf主任称，其方案展现出了令人印象深刻的可适应性。
这一方面是得益于现在计算能力的提高使得 AI 可处理规模要大得多的数据集，要知道，观察 Atari 游戏相当于每秒处理 200 万像素的数据。另一方面则是得益于 DeepMind 结合了强化学习来训练 AI，而且是在高维度感觉输入中采用的端到端强化学习。相对于以往计算机会玩的游戏，如国际象棋等，这次计算机玩的游戏更接近现实世界的混沌状态。Google的智能设计师Demis Hassabis称，这是第一种能在一系列复杂任务当中与人类表现相当的算法。
那么 Google 会不会用这种 AI 来分析自己的大规模数据集呢？Hassabis 并没有给出任何肯定的说法，但称该系统对任何连续性决策任务都有用。如果我们把 Google 收集的用户数据比作像素，把广告收入比作得分的话，DeepMind 的 AI 系统一样也可以用在 Google 的核心广告业务。让 AI 去置放的广告，点击率越高就给它更高的分数，这样 AI 能够不断演进优化广告的投放算法。而伦敦大学金斯密斯学院的 Michael Cook 甚至给出了确切的数字，称 Google 已经在 7 款产品中采用了 DeepMind 的技术。其中会不会包括 Google 研发的自动汽车呢？也许用不了多久我们就能感受到有了那颗 DeepMind 支撑的产品的表现差异了。
原文发布时间为：2015-02-27
本文来自云栖社区合作伙伴“大数据文摘”，了解相关信息可以关注“BigDataDigest”微信公众号
