超级编程AI登上Science封面！AlphaCode编程大赛卷趴一半程序员

新智元新智元 2022-12-09 13:26 发表于北京

 新智元报道  

编辑：编辑部

【新智元导读】在编程比赛中达到人类水平的AlphaCode，再登Science封面。

这个12月，正当OpenAI的ChatGPT势头正旺时，那个曾经卷趴一半程序员的AlphaCode登上Science封面了！

论文链接：https://www.science.org/doi/10.1126/science.abq1158

说到AlphaCode，想必大家并不陌生。

早在今年2月，它就在著名的Codeforces上，悄悄地参加了10场编程比赛，并一举击败了半数的人类码农。

卷趴一半码农

我们都知道，程序员中非常流行这样一种测试——编程竞赛。

在竞赛中，主要考察的就是程序员通过经验进行批判性思维，为不可预见的问题创建解决方案的能力。

这体现了人类智能的关键，而机器学习模型，往往很难模仿这种人类智能。

但DeepMind的科学家们，打破了这一规律。

YujiA Li等人，使用自监督学习和编码器-解码器转换器架构，开发出了AlphaCode。

AlphaCode的开发工作，还是在居家期间完成的

虽然AlphaCode也是基于标准的Transformer编解码器架构，但DeepMind对它进行了「史诗级」的强化——

它使用基于Transformer的语言模型，以前所未有的规模生成代码，然后巧妙地筛出了一小部分可用的程序。

具体步骤为：

1）多问询注意力：让每个注意力块共享键和值的头，并同时结合编码器-解码器模型，使AlphaCode的采样速度提高了10倍以上。

2) 掩码语言建模（MLM）：通过在编码器上加入一个MLM损失，来提高模型的解决率。

3）回火：让训练分布更加尖锐，从而防止过拟合的正则化效应。

4）值调节和预测：通过区分CodeContests数据集中正确和错误的问题提交，来提供一个额外的训练信号。

5）示范性异策略学习生成（GOLD）：通过将训练的重点放在每个问题最可能的解决方案上，让模型为每个问题产生正确方案。

结果嘛，大家都知道了。

凭借着1238的Elo得分，AlphaCode让自己在这10场比赛中的排名达到了前54.3%。放眼之前的6个月，这一成绩更是达到了前28%。

要知道，为了达到这个排名，AlphaCode必须「过五关斩六将」，解决融合了批判性思维、逻辑、算法、编码和自然语言理解相结合的种种新问题。

从结果来看，AlphaCode不仅解决了CodeContests数据集中29.6%的编程问题，而且其中有66%是在第一次提交时解决的。（总提交次数限制在10次）

相比起来，传统的Transformer模型求解率都比较低，只有个位数。

对于这个结果，就连Codeforces创始人Mirzayanov都非常惊讶。

毕竟，编程比赛考验的是发明算法的能力，这一直是AI的弱项，人类的强项。

我可以肯定地说，AlphaCode的结果超出了我的预期。开始我持怀疑态度，因为即使在简单的竞赛问题中，不仅需要实施算法，而且还需要发明算法（这是最困难的部分）。AlphaCode已经让自己成为很多人类的强劲对手。我迫不及待地想知道，未来会发生什么！

——Mike Mirzayanov，Codeforces 创始人

所以，AlphaCode这是能抢程序员的饭碗了？

当然还不行。

AlphaCode还只能完成简单的编程任务，如果任务变得更复杂，问题更加「不可预见」，只会将指令翻译成代码的AlphaCode就束手无策了。

毕竟，1238的得分从某种角度来说，也就相当于一个初学编程的中学生菜鸟的水平。这个level，还威胁不到真正的编程大牛。

但毫无疑问的是，这类编码平台的开发，会对程序员的生产力产生巨大的影响。

甚至，整个编程文化都可能会被改变：或许，以后人类只要负责制定问题就可以，而生成和执行代码的任务，就可以交给机器学习了。

编程竞赛有啥难的？

我们知道，虽然机器学习在生成和理解文本方面取得了巨大进步，但是大部分AI目前仍然局限于简单的数学和编程问题。

它们会做的，更多是检索和复制现有的方案（这一点相信最近玩过ChatGPT的人都深有体会）。

那么，让AI学习生成正确的程序，为什么这么困难呢？

1.  要生成解决指定任务的代码，就需要在所有可能的字符序列中搜索，这是一个海量的空间，而其中只有一小部分对应有效的正确程序。

2. 、一个字符的编辑，可能会完全改变程序的行为，甚至会导致崩溃，而且每个任务都有许多截然不同的有效解决方案。

对于难度极高的编程比赛，AI需要理解复杂的自然语言描述；需要对以前从未见过的问题进行推理，而不是简单地记住代码片段；需要掌握各种算法和数据结构，并精确地完成可能长达数百行的代码。

此外，为了评估自己生成的这些代码，AI还需要在一套详尽的隐藏测试上执行任务，并且检查执行速度和边缘情况的正确性。

（A）问题1553D，中等难度评分为1500；（B）AlphaCode生成的问题解决方案