OpenAI 2:0击败Dota2 TI8冠军OG(鱼腩队?),「菜鸡」小编上手体验-阿里云开发者社区

开发者社区> 开发者小助手-bz8> 正文

OpenAI 2:0击败Dota2 TI8冠军OG(鱼腩队?),「菜鸡」小编上手体验

简介: 在 OpenAI Dota2 项目最终的决战中,OpenAI Five 2:0 战胜 Dota2 职业战队、TI 8 冠军 OG。此外,OpenAI还将在4月18-21日期间把OpenAI Five开放给玩家,注册就能体验。炫耀一下,小编现场体验了一把。
+关注继续查看

3 月底,OpneAI 官方宣布挑战 Dota2 职业战队、TI 8 冠军 OG,这是 OpenAI Dota2 项目的最后一战。先前,机器之心曾介绍过 OG 是 Dota 界一支顶级的战队,TI5-TI7 期间,该队取得了 7 个官方特锦赛中的 4 个冠军。在 2018 年的 TI8 中,3:2 赢得 CN Dota 战队 LGD。虽然,机器之心读者吐槽如今的 OG 完全是一支鱼队,但这次比赛中选手 Ana 归来,实力并不弱。


微信图片_20211130233910.jpg


刚刚,这场终极对决结束,OpenAI Five 2:0 战胜职业战队 OG。


2:0 OG 惨败


先介绍下比赛规则的调整。


据先前 OpenAI 博客介绍,此次比赛规则类似于 TI8 时 OpenAI Five 与职业战队的比赛但略有调整,可选择的英雄从去年的 18 位降为 17 位,无幻象,无召唤物。据 OpenAI 介绍,针对 dota2 最新的版本更新,OpenAI Five 训练了几周。


第一场比赛,双方阵容选择如下:


微信图片_20211130233914.jpg


  • OpenAI Five:火枪、飞机、冰女、DP、斯温
  • OG:小牛、巫医、毒龙、影刺、影魔


系统给出的 OpenAI Five 的胜率为 67.6%。


比赛开始后,开局抢钱,OpenAI Five 拿下一血。而后双方在战线阶段,双方打的势均力敌,经济与人头数一度拉平。不久之后,OG 河道一波失误,导致丢失中路二塔与高地。


24 分钟,毒龙上路带线被抓,队友支援不成反而引发团灭。


32 分钟下路一波团,OG 惨败,在挣扎了几分钟后,三路被破而后 GG,击杀数为 52:29。


「人类的希望」OG 第一局败北。


第一局比赛,不谈人类的「表演」(如从头送到尾的毒龙),我们可以从中观察到 OpenAI Five 存在的一些问题,例如:


  • 因英雄选择限制,阵容搭配与分路都不常规;
  • DP 中路打影刺,不插真眼;
  • 因为隐身英雄的存在,OpenAI Five 学习插真眼存在问题;
  • 毫无道理的买活;
  • 用鸡习惯极差。


但相比于 2018 年 TI 8 时期,OpenAI Five 的确增强了许多,如团战打的更好,做视野的能力也有所提升。


进入第二局比赛,双方改换阵容。OpenAI Five 选择了冰女、飞机、斯温、巫医和毒龙,OG 选择了火枪、小牛、DP、小鱼和 lion。


微信图片_20211130233918.jpg


此局比赛,OpenAI Five 预测胜率为 60.8%。


开局,人类玩家上下两路劣势,10 分钟左右击杀数大为落后(3:11),经济落后 5000 左右。


微信图片_20211130233921.gifimage.gif

14 分钟上高


14 分钟,OpenAI 上路杀人、拿塔、破高地,OG 的两位大哥已经没时间发育了。不到 21 分钟,OG 基地被破,6:46 的击杀数被 OpenAI 完虐。


在 TI 8 败给职业玩家之后,OpenAI Five 终于证明了自己,2:0 战胜职业战队。而 OG 的表现,在观众看来真的沦为了鱼腩队,或者未发挥全部实力,仅仅参与了一场表演赛。


「菜鸡」小编上手


受 OpenAI 邀请,机器之心小编也上手了一把和 AI 大战的好戏。


事先声明,小编玩 Do 龄 8 年,但 Dota 2 几乎没有玩过,Ehome 粉丝,新版本英雄技能完全不熟悉,导致选英雄的时候果断选了死灵法师,以为可以用大招远程直接带走对方残血 AI 为机器之心争光,结果……


微信图片_20211130233926.jpg

机器之心「菜鸡」小编挑战 OpenAI Five


往事不堪回首,先谈一波感受:


首先,这场 Demo 是常规的 5V5 作战,规则和 OpenAI vs OG 的规则一样,只不过小编没有人类队友,而是配了 4 个 AI 一队。是的,人类可以和 AI 组队。


双方阵容有四位相同英雄:巫医、潮汐、小牛、直升机,OpenAI Five 另一位英雄为死亡先知。小编的死灵法师上手树枝大补药加一个智力头盔,中路出门对线死亡先知。


结果,对线期完全被压制,而且除了用技能之外一个正补反补都没有……当然死亡先知中路本身压制就比较有优势,而且 AI 几乎没有犯什么错误。


无奈之下,小编只有叫小弟帮忙:输入 Lane Gyro Mid,在上路由 AI 控制的矮人直升机回复:收到老大,马上来。两个英雄对线后,情况马上好转。


升了 6 级,买了鞋子之后,对方 AI 开始推中路和上路。和 AI 交流还是有些问题,对方开始中推我们却无法集中防守。之后两波团战小编除了加血和尝试放大招失败后,死了两次,没有任何收获。


时间原因,Demo 在 12 分钟结束,人头比 1:8,菜鸡小编惨败,12 分钟 KDA 0/2/1。


微信图片_20211130233930.gifimage.gif


总的来说,AI 在对线期几乎不给人类玩家任何机会,但过了对线期,AI 的套路似乎只有上路或者中路集中推塔。在 10 分钟的时候,对方的死亡先知就开始打 Roshan,打到残血之后无功而返,小编也不明白 AI 是怎么想的。


最后,你是不是也想体验一把?在比赛结束后,OpenAI 宣布将在 4 月 18-21 日把OpenAI Five开放给玩家,注册就能与朋友一起组队挑战 OpenAI Five 或者与 OpenAI Five 组队玩游戏。


微信图片_20211130233933.jpg


OpenAI Five 视角


OpenAI 在 Dota 2 的研究上已经走过了两年多的时间,最初在2017年8月份,OpenAI构建的智能体就在Dota2 一对一表演赛中战胜了顶级职业选手随后在一年后,该智能体于 5 v 5 团队赛中击败业余人类玩家,这是OpenAI Five强化学习模型第一次展现它的强大能力。当时OpenAI Five通过Self-Play方法,每天都相当于玩了 180 年的游戏。


随后,OpenAI Five 就开始尝试在 5v5 团队赛中挑战顶尖团队,它希望和人类遵守相同规则、获取类似地图信息的情况下取得更多的创造性。如下为 OpenAI Five 的发展历程,今天的这场比赛是它与人类的最终决战。


微信图片_20211130233935.jpg


如上图所示,从 OpenAI Five 也一直在进步。18 年 8 月份 TI 8 时期,OpenAI Five 的参数量约为 4 千万,相当于人类玩了「一万年」的 Dota 2 游戏。而到今天,OpenAI Five 的参数量约为 1.6 亿,相当于人类玩了「4 万 5 千年」的 Dota 2 游戏。


其实在每一局中,OpenAI Five 获得的信息和人类是一样的,但前者可以实时看到位置、生命值和装备清单等,而这些信息都需要人类选手去手动查看。在今天比赛开始之前,OpenAI Five 的研究者就展示了人类与 AI 眼中的游戏,虽然信息上它们是等价的,但形式有很多不同。


微信图片_20211130233940.jpg


OpenAI Five 团队曾表示能使用强化学习LSTM 网络构建 Dota 2 智能体也非常出人意料。因为如果每个英雄用单独的 LSTM,那么模型在没有人类数据的情况下学到可识别的策略。这表明强化学习即使没有根本性的进步,也能够产生大规模但也可接受的长期规划。


总的而言,OpenAI Five 击败顶尖人类团队 OG 主要需要解决三大核心问题:长线策略、奖励机制、团队协作。


首先对于长线策略,Dota 游戏平均每秒 30 帧,一场时常 45 分钟,大部分操作(例如操纵英雄移动)都有单独的小影响,但一些个体行为可能会影响到游戏战略。所以不论是通过 LSTM 选择短期操作,还是通过类似 AlphaGo 中的「价值网络」制定长期战略,它都需要学会局部操作与后续战术的关系。


其次由于 OpenAI Five 使用强化学习进行训练,那么设定合理的奖励(Reward)就处于核心问题了。OpenAI Five 的奖励主要由衡量人类如何在游戏中做决策的指标组成:净价值、杀敌数、死亡数、助攻数、最后人头等。同时还需要构建一个指数衰减超参数,以决定智能体究竟是关注长期的奖励还是短期的奖励。


最后对于团队协作,我们希望五个独立智能体能共同完成一些战术。OpenAI Five 没有在各个英雄的神经网络之间搭建显式的沟通渠道,团队合作由一个称之为「团队精神」的超参数控制,该超参数从 0 到 1 表示关注团队平均奖励的程度。OpenAI Five 的早期训练该值比较小,因此智能体更关注自身发展,后面逐步增加该值以令智能体更关注团队协作。


因为智能体的庞大动作空间、观察空间和不完美信息,Dota 2 远比围棋等游戏复杂,它还有更多的问题需要解决。在击败 OG 后,OpenAI Five 和强化学习还有很长的路要走。



「投资市北高新,共创数智未来」,中国大数据产业之都沪港合作推介会即将于 2019 年 4 月 15 日在香港会展中心举行。点击「阅读原文」参与报名。

微信图片_20211130234215.jpg

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
使用NAT网关轻松为单台云服务器设置多个公网IP
在应用中,有时会遇到用户询问如何使单台云服务器具备多个公网IP的问题。 具体如何操作呢,有了NAT网关这个也不是难题。
26740 0
阿里云服务器怎么设置密码?怎么停机?怎么重启服务器?
如果在创建实例时没有设置密码,或者密码丢失,您可以在控制台上重新设置实例的登录密码。本文仅描述如何在 ECS 管理控制台上修改实例登录密码。
9495 0
阿里云服务器如何登录?阿里云服务器的三种登录方法
购买阿里云ECS云服务器后如何登录?场景不同,阿里云优惠总结大概有三种登录方式: 登录到ECS云服务器控制台 在ECS云服务器控制台用户可以更改密码、更换系.
13183 0
windows server 2008阿里云ECS服务器安全设置
最近我们Sinesafe安全公司在为客户使用阿里云ecs服务器做安全的过程中,发现服务器基础安全性都没有做。为了为站长们提供更加有效的安全基础解决方案,我们Sinesafe将对阿里云服务器win2008 系统进行基础安全部署实战过程! 比较重要的几部分 1.
9054 0
腾讯云服务器 设置ngxin + fastdfs +tomcat 开机自启动
在tomcat中新建一个可以启动的 .sh 脚本文件 /usr/local/tomcat7/bin/ export JAVA_HOME=/usr/local/java/jdk7 export PATH=$JAVA_HOME/bin/:$PATH export CLASSPATH=.
4620 0
阿里云服务器ECS登录用户名是什么?系统不同默认账号也不同
阿里云服务器Windows系统默认用户名administrator,Linux镜像服务器用户名root
4012 0
阿里云ECS云服务器初始化设置教程方法
阿里云ECS云服务器初始化是指将云服务器系统恢复到最初状态的过程,阿里云的服务器初始化是通过更换系统盘来实现的,是免费的,阿里云百科网分享服务器初始化教程: 服务器初始化教程方法 本文的服务器初始化是指将ECS云服务器系统恢复到最初状态,服务器中的数据也会被清空,所以初始化之前一定要先备份好。
6893 0
1654
文章
0
问答
文章排行榜
最热
最新
相关电子书
更多
《2021云上架构与运维峰会演讲合集》
立即下载
《零基础CSS入门教程》
立即下载
《零基础HTML入门教程》
立即下载