阿法狗是如何工作的?卡内基梅隆大学博士用54页PPT给你答案

简介:

最绚烂的火花,永远产生于森然秩序被打破,天才超然于规律之外的那一瞬间


卡内基梅隆大学博士生用54页PPT解密阿法狗的工作原理


在刚刚结束的“AlphaGo”与韩国围棋高手李世石之间的人机大战第五局中,李世石执黑负,无缘两连胜。至此,人机大战五番棋全部结束,李世石1-4输掉对决,无缘100万美元赢棋奖金。


为了让大家从另外一面了解AlphaGo,Computer Science排名第一的卡内基梅隆大学的博士研究生 Shane Moon(个人主页:http://shanemoon.com/)做了一次演讲,他就读于卡内基梅隆大学著名的语言技术研究所,纯干货讲稿PPT奉上。



AlphaGo是如何工作的

演讲人:Shane Moon

2015年10月,AlphaGo与欧洲围棋冠军樊麾二段对弈

2016年3月9日-15日,AlphaGo与世界冠军李世乭九段展开对弈

电脑围棋人工智能


电脑围棋人工智能:定义

我们可以把棋盘想象成一个矩阵


当给出s,电脑围棋运算出最优移动a,得到s'

电脑围棋人工智能:一个可行的概念?

假设它模拟所有可能的棋盘落子位置呢?



进行这样的模拟直到游戏结束,然后报告输赢结果


这是不可能的,据说所有可能的棋盘排布种类总数超过了宇宙中原子的数量

关键在于:缩减搜索空间

缩减搜索空间的第一种方法:减少可选择的着法(横向缩减)

从搜索出的着法候选中把这些提前剔除

缩减搜索空间的第二种方法:提前评估落子位置(纵向缩减)

假设这里有一个函数可以计算V,即s的盘面形势评估

缩减搜索空间的两种方式:减少可选择的着法(横向),提前评估落子位置(纵向)


减少可选择的着法

得到P(下一次落子|现在的位置)

减少可选择的着法:模仿专业高手的着法(在指导下学习)

建立棋盘的预测模型

将预测模型模拟为矩阵进行运算

这个深度学习过程要经过13层“CNN”

CNN即卷积神经网络,是一种强大的图像识别任务处理模型,它将输入的图像通过卷积层抽象化

它们利用卷积神经网络模型去评估对局形势

围棋:胜利的关键在于抽象能力

卷积神经网络:抽象是其特长

模仿专业高手着法的模型

减少可选择的着法:通过自我对弈来提高(巩固学习)

两个专业高手着法模仿模型进行对弈

输赢两种结局

更新模型,不断进行新旧模型之间的对弈,最后一个版本的模型和初始版本对弈已经有了八成赢面

盘面形势评估


使用两个模型:上文最新版本的模仿模型与价值预测模型(复盘)


缩减搜索空间:横向上减少可选择的着法(策略网络),纵向上进行盘面形势评估(价值网络)


前瞻:蒙特卡洛树形研究模型

结果:AlphaGo不同成分的组合所呈现的表现李世乭九段与AlphaGo的能量功耗对比

据估测,AlphaGo的水准在业余五段左右


将CPU/GPU资源运用到极致?


AlphaGo每天都学习数以百万计的对局

如果AlphaGo学习了李世乭的策略会怎样?谷歌表示他们不会将李世乭的比赛数据用于AlphaGo的训练数据,即使它真的学习了,仅仅与李世乭对弈几盘就修改在海量数据下训练过的模型也是很难的AlphaGo的弱点是什么?留待研究




原文发布时间为:2016-03-22

本文来自云栖社区合作伙伴“大数据文摘”,了解相关信息可以关注“BigDataDigest”微信公众号

相关文章
|
3月前
|
机器学习/深度学习 数据采集 算法
【2023 华数杯全国大学生数学建模竞赛】 C题 母亲身心健康对婴儿成长的影响 45页论文及python代码
本文通过收集390名3至12个月婴儿及其母亲的相关数据,运用结构方程模型、相关性分析和多种机器学习模型,研究了母亲身心健康对婴儿行为特征和睡眠质量的影响,并提出了改善母婴交互质量和提高婴儿睡眠质量的解决方案。
90 0
【2023 华数杯全国大学生数学建模竞赛】 C题 母亲身心健康对婴儿成长的影响 45页论文及python代码
|
6月前
|
算法 定位技术
保研夏令营与考研复试联系导师、婉拒导师的语言模板与注意事项
保研夏令营与考研复试联系导师、婉拒导师的语言模板与注意事项
|
6月前
|
机器学习/深度学习 物联网 定位技术
保研夏令营、考研复试、出国时个人陈述模板与撰写注意事项
保研夏令营、考研复试、出国时个人陈述模板与撰写注意事项
100 1
|
监控 项目管理
PMP备考之路 - 汪博士第一章(引论)(上)
PMP备考之路 - 汪博士第一章(引论)
65 0
|
监控 项目管理
PMP备考之路 - 汪博士第一章(引论)(下)
PMP备考之路 - 汪博士第一章(引论)(下)
59 0
|
算法 C语言
【CSDN编程竞赛·第四期】个人参赛经历和个人建议
大家好,我前不久参加了官方举办的CSDN编程比赛,官方举办了四期,第一期的时候没看到,错过了,后面的每一期我都参加了,总的感觉来说,还可以。下面我具体说说第四期相关经验吧。
|
人工智能 分布式计算 算法
从长安十二时辰中学到的东西
19年的暑期里,长安十二时辰(下文简称长安)不愧是电视连续剧中的一匹黑马。紧凑的故事情节,扑朔迷离的人物关系,给观众再现盛唐一片气派的景象。这是1个令人引以自豪的时代,这是1个文人骚客辈出的朝代。 不同的人会在剧中找到不一样的东西,这里更多的是从科技以及技术的层面进行分析,而不是更多地从文化的角度。
从长安十二时辰中学到的东西
学术规范与论文写作(雨课堂)(研究生)期末考试 正确顺序
学术规范与论文写作(雨课堂)(研究生)期末考试 正确顺序
638 0
学术规范与论文写作(雨课堂)(研究生)期末考试 正确顺序
学术规范与论文写作(雨课堂)研究生 全部答案
学术规范与论文写作(雨课堂)研究生 全部答案
1977 0
学术规范与论文写作(雨课堂)研究生 全部答案
|
机器学习/深度学习 人工智能 自然语言处理
中戏开设“戏剧人工智能”专业,首招2名博士生!优先考虑对戏剧感兴趣的理工考生
中戏开设“戏剧人工智能”专业,首招2名博士生!优先考虑对戏剧感兴趣的理工考生
370 0