深度学习之Google Deepmind的alphago人工智能算法技术演变历程-阿里云开发者社区

开发者社区> 人工智能> 正文

深度学习之Google Deepmind的alphago人工智能算法技术演变历程

简介: 强化学习的典型应用。

32b10185549cc9a4c77a7a7c436c658ee13bc2ec

 

一、简介

 

有些人会有如下质疑“alphago都用了蒙特卡洛搜索树了,这变成了一部分搜索问题了并不是人工智能算法了或者说不够智能了,但我的拙见是人在思考问题的时候除了直觉、经验判断、逻辑推理之外也会去枚举、搜索,所以我觉得算法包含一部分搜索并不能直接说该算法这不够智能或者这不是智能算法了,我觉得更多的是要考虑该算法在该类问题上如何去刻画出人类的直觉、经验判断、逻辑推理等。

 

最近大家比较关心的围棋人机大战(alphago vs 李世石)中,deep mind基于Nature2016文章的alphago5局制的比赛中已经取得了4-1的获胜。2016googlefacebook两个大拿在围棋领域基于深度学习都发表了文章,其中facebook文章如下:《BETTER COMPUTER GO PLAYER WITH NEURAL NET- WORKAND LONG-TERM PREDICTION Google文章如下:《Mastering the game of Go with deep neural networks and tree search》。这两篇文章都是蒙特卡洛搜索树+DCNN,效果googlealphago优于facebook的方法,刚好借此机会将之前看到的deep mind该领域的文章捋了一下。

 

googlealphago之前就已经发表了相当多这方面的demo与文章,从其最早的NIPS2013文章《Playing Atari with Deep ReinforcementLearning》到现在的Nature2016 Mastering the game of Go with Deep Neural Networks & Tree Search》。deep mind在此期间做了很多扎实的研究工作,本文将进行简单的描述。本文接下去会按如下几点内容进行叙述:

1.Q-learning

2. Reinforcement learning

3. deep Q-Networks

4. alphago

 

二、Q-learningReinforcement learning 

 

增强学习Reinforcement learning的场景大部分有一个共同的特点,那就是这些场景有序列决策或者控制的问题,对于当前的任何一个state不能明确的对不同的action给出一个事先well definedscore值。它大多应用于如下的领域:机器人控制,市场决策,工业控制等。

 

Q-learning是用于解决Reinforcement learning问题的一种常见方法,其经典的公式如下:


97b85a16aed19c067cdd0fe9558aa5a6e89346f3 

 

三、deep Q-Networks(DQN)

 

2013发表NIPS文章《Playing Atari with Deep ReinforcementLearning》是deep mind公开的最早使用raw pixels作为输入的,用于解决reinforcement learning的深度学习网络DQN。在该文章中,作者在atari一系列的游戏上做了各种算法的比较,如下图所示:

 

 5ffb521cf066113d62988971533e9bb90ef403b4

在总共7个游戏中,有6个做到了算法中最好,其中还有3个做到了比人类专家还要好。该文章中提到的DQN有两个特点:1. 用来更新参数的minibatch是是从replay memory(回放记忆)中采样出来的,而不是仅仅的用当前一个片段或者session,这样能使得模型收敛性更好,否则会很容易训飞。2. value函数是一个多层网络。

 

在上述文章提出后,deep mind在该问题上不停的打磨,不断的优化其工程与算法:

1. 2015发表ICML文章《MassivelyParallel Methods for Deep Reinforcement Learning》,该文章从工程上了做了4个方面的分布式:学习、决策、价值、经验,第1个属于学习,第23个属于网络方面,第4个偏存储方面。DQN的全面分布式将DQN的学习时间成本与模型效果都提升了一个档次。DQN分布式结构简要如下:


e8bee422b157c0ed1069d66d73d6ccbe28296f26

 

2. 2016发表ICLR文章《PRIORITIZEDEXPERIENCE REPLAY》,该文章指出了原DQN中经验均匀采样的问题,并从防过拟合、防局部最优这些点上,设计了介于均匀采样与纯优先级贪心之间的经验采样方法,提出的这个改进再次将DQN的模型效果提升了一个档次。

3. 2016发表ICLR文章《PolicyDistillation》,该篇文章实际上是做了DQNtransfer learning的实验,有很多思想与hintondark knowledge里面的东西都很相似,其方法示意图如下所示:

 

4f198d8f4c2dfea83e2e3092751c7b24d3f6772d

 

四、alphago

 

训练阶段:

 

alphago训练如下图a中展示了alphago相应的4neural networkb中主要展示了policy networkvalue network及其输出形式。 

          

 f09c0418070d09bb2e9895a25dc9db2fbe03f168

 

1. policy network14层,输出棋盘每步move概率值),它首先采用supervisedlearning训练方法在KGS数据集上达到了55.7%的专家moves预测准确率,然后由reinforcement learning训练方法进行自我训练(每一次训练都在前几次迭代完的模型中随机一个模型做决策),自我训练的policy network80%的情况下打败了supervised learning训练出来的policy network


2. value network15层,预测棋盘下一步move),该网络由pair训练数据做regressionloss反馈更新得到。在KGS的数据集上,该训练方法出现了过拟合的现象(训练MSE0.19,测试MSE0.37),但若在reinforcement learning学出来的policy network基础上产生出的自我训练集里进行采样学习的话,就可以有效的避免该问题(训练MSE0.226,测试MSE0.234)。


预测阶段:

 

alphago系统模拟的时候,每一个action由如下三个因素决定:s状态下a的访问次数,RL policy network for action valueSL policy networkfor prior probability;在alphago系统模拟的时候,每一个叶子节点价值由如下两个因素决定:value networkrollout network;在alphago系统所有模拟都结束后,由上述两点计算得到s状态下avalue值。综上RLSL学习出来的两个policy network共同决定了蒙特卡洛搜索树节点的选择,value networkrollout network决定了模拟出来的叶子节点的价值,最终s状态下avalue由上述两部分以及所有模拟中s状态下a的访问次数共同影响得到。最后alphago系统选择s状态下最优的action作为围棋当前的move


本文作者:阿里-记忆


关注了解更多人工智能干货:


c11cc5170044874d79421286cd310b6aa34b4292

版权声明:本文中所有内容均属于阿里云开发者社区所有,任何媒体、网站或个人未经阿里云开发者社区协议授权不得转载、链接、转贴或以其他方式复制发布/发表。申请授权请邮件developerteam@list.alibaba-inc.com,已获得阿里云开发者社区协议授权的媒体、网站,在转载使用时必须注明"稿件来源:阿里云开发者社区,原文作者姓名",违者本社区将依法追究责任。 如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件至:developer2020@service.aliyun.com 进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容。

分享:
人工智能
使用钉钉扫一扫加入圈子
+ 订阅

了解行业+人工智能最先进的技术和实践,参与行业+人工智能实践项目

其他文章