readygo个人页面-阿里云开发者社区

深度增强学习实践：让Python小程序玩一款游戏，来训练神经网络

我们这里要简要介绍一下增强学习（RL）——一种为了提高玩游戏效率的训练程序的通用技术。我们的目标是解释其实际实现：我们讲述一些基本理论，然后走马观花地看一下为玩《战舰》游戏而训练神经网络的最小python程序。导言增强学习[RL]技术是一种可用于提高效玩游戏效率的学习算法。与督导机器学习[ML]方法一样，增强学习是从数据——这里是指过去玩游戏的数据——中进行学习。然而，尽管督导学习算法只是根据现有的数据进行训练，但RL还挑战如何在收集数据的过程中表现良好性能。具体地说，我们所追求的设计原则是让程序从过去实例中识别好的战略, 通过连续地玩游戏快速地学习新的战略。我们在这里特想让我们的算法快速学习的理由是在培训数据有限或者战略空间太大而难以进行穷尽搜索的情况下最富有成果地运用RL。正是在这种体制下督导技术面临困境而RL则闪耀着光芒。我们在本贴中要回顾一般性的RL培训程序：策略梯度、深度学习方案。我们下一节要回顾一下这种办法背后的理论。随后，我们将粗略地演示一下培训神经网络来玩战舰游戏的 python 实现。我们的python码可以从我们的github网页这里下载。它需要 jupyter, tensorflow, numpy, 和 matplotlib包。策略梯度，深度RL 策略深度和深度RL有两个主要构件。下面我们要详述二者并描述它们是如何协作训练好的模型的。策略网络一定深度RL算法的策略是一种神经网络，它将状态值ss映射为一定游戏行为 aa的概率。换句话说，该网络的输入层接受环境的数字编码——游戏在特定时刻的状态。当输入通过网络馈送后，其输出层的值对应着我们现有每个行动可选的对数概率——我们可供选择的每个可能的行动都有一个输出节点。请注意如果我们肯定知道我们应采取的步骤，只有一个输出节点有一定的概率。但如果我们的网络不能肯定哪种行动最优时，那么就不只一个节点有一定的权值。为了说明这一点，我们来图示一下下面“战舰”程序中所用的网络。（要回顾“战舰”的游戏规则请看注[1]）简明起见，我们只用一维战舰网格。我们然后对我们对手的每个网格位置用一个输入神经元将我们对目前的环境知识进行编码。具体地说，我们对于每个神经元/下标运用下列编码：在下面例图中，我们有五个输入神经元，因此游戏盘的大小是五。前三个神经元的值是−1−1 表明我们尚未轰炸这些网格点。最后两个分别是+1+1 和 00, 意味着战舰位于第四而不是第五的位置。需要注意的是，在所显示的策略网输出层中，前三项值标为对数概率。这些值对应着每个下标的下次轰炸的概率。我们不能再次轰炸第四和第五个网格点，所以，尽管网络可能对这些神经元输出一些值，我们会忽略它们。需要注意的是，在所显示的策略网输出层中，前三项值标为对数概率。这些值对应着每个下标的下次轰炸的概率。我们不能再次轰炸第四和第五个网格点，所以，尽管网络可能对这些神经元输出一些值，我们会忽略它们。在我们继续前，我们注意到我们对我们的策略运用神经网络的理由是进行有效地归纳：对于象围棋这样有大量状态值的游戏来说，收集每个可能的游戏盘位置的数据并不可行。这正是ML算法所擅长的场合——根据过去的观测进行归纳从而对新局面做出很好的预测。为了将注意力放在RL上，我们不想在本贴中回顾ML算法（但你可以看看我们的库中的入门章节）。我们只是提请注意——利用这些工具，我们通过只培训游戏中有代表性的子集就能获得良好的性能而不必研究会非常庞大的整个集合。收益函数为了训练RL算法，我们必须反复地进行游戏/得分过程：我们根据当前的策略玩游戏，根据与该网络输出的概率成比例的频率做出移动选择。如果所采取的行动得到好的结果，我们就要在往后提高这些行动的概率。收益函数是我们用于对我们以前游戏的结果进行正式打分的工具——我们将鼓励我们的算法在游戏期间努力将该量最大化。它其实是RL算法的超级参数：可以使用许多不同的函数，并每个都得出不同的学习特征。对于我们的战舰程序来说，我们用下列函数只要游戏日志完备，该函数考查在时间t0时所采取的行动a并返回命中值h(t)的加权和，以及该游戏所有未来步骤。在这里，如果我们在步骤t时命中，h(t)则为1，否则为0。在到达(2)时，我们承认并不对所有可能的收益函数集合进行仔细搜索。但我们肯定这一选择会有很好的游戏效果，它们有良好的目的性：具体地说，我们注意到加权项(0.5)t−t0(0.5)t−t0 能强烈地激发当前步骤的命中率（对于在t0时命中，我们得到的收益为11 ), 但在(t0+1)(t0+1)时命中的行为在 t0t0 时也有收益—— 其值为0.50.5。同样，在 (t0+2)(t0+2) 时命中收益为0.250.25, 依此类推。 (2)的这种超前加权起到了鼓励有效探索棋局的作用：它迫使程序顾及有利于未来命中的步骤。 (2) 中出现的其他要素是减去h(t)¯¯¯¯¯¯¯¯¯h(t)¯。这是随机网络会获得的预期收益。通过将该项除去，我们的网络只有表现超过随机选择才有收益——该收益是这一学习过程的净加速。随机递减为了训练我们的算法在游玩期间收益最大化，我们运用了递减法。为了表现这一点，我们设想让我们的网络参数 θθ 在游戏的某些特定步骤发生改变。对所有可能的步骤进行平均，于是有了预期收益的梯度公式，这里， p(a)p(a) 的值是我们网络行动的概率输出。不过，我们通常无法求得上述最后一行的值。但我们可以用抽样值进行迫近：我们只是用我们当前网络玩游戏，因此我们用在第 ii次移动时所获得的实际收益取代上述的预期收益，这里aiai 是所采取的行动， r(ai)r(ai)是获得的收益，可以通过反向传播求该对数的导数（对于那些熟悉神经网络的人来说：这是叉熵损失函数的导数，当你处理类似督导学习训练事例的事件时，可以用所选择行动 aiai 做为标记以应用该函数)。函数g^ig^i 提供理想梯度的噪声估计，但步骤多了会导致“随机”递减，一般推动我们朝着正确的收益最大化前进。训练过程总结总之，RL训练是迭代进行：要起动迭代步骤，首先我们用我们当前的策略网络玩游戏，随机地根据网络输出选择移动步骤。在游戏结束后，我们通过计算每次移动所获得的收益来对结果打分，例如在战舰游戏中，我们用(22)。一旦完成这一步，我们就用 (44)来估计收益函数的梯度。最后，我们用αα小步长步骤参数更新网络参数 θ→θ+α∑g^iθ→θ+α∑g^i, 接着，我们用经过更新的网络继续玩新的游戏，依此类推。要明白这一过程实际上是鼓励在练习中产生良好结果的行动，注意 (44) 与在步骤 ii中所获收益成比例的。因此，我们在 (44)的方向上调整参数，我们极力鼓励那些产生很大收益结果的行动。另外，收益为负的步骤受到抑制。网络按这种方式经过一段时间后将学会考察这一系统并提出可能产生最佳结果的步骤。这说的是深度策略梯度RL的基础。我们现在回到我们战舰python示例上来。 Python 代码流程 — 战舰 RL 加载所需的包。定义我们的网络——一个全面相联的三层系统。下面代码基本上是 tensorflow 标准本，通过了其第一教程就可得出。有一项非同凡响的事是我们已将(26)集的学习速度定为占位符值 (9) 。这将让我们用下列所观察到的捕获收益改变我们的步长。其次，我们定义了让我们用我们的网络玩游戏的方法。变量TRAINNING决定了我们是否采取理想步骤或选择随机步骤。请注意该方法返回一组记录游戏过程的日志集。这些是训练所需要的。我们收益函数的实现(2): 最后是我们的训练循环。我们反复地玩多次游戏，每次都记分，然后调整参数——用阿尔法乘以所获得收益得出学习速度。运行上一单元，我们看到训练起作用了！下面例子通过将TRAINNING设为FALSE跟踪play_game()方法。这展示了一种智能步骤选择过程。这里前五行是游戏盘编码——每一步都用(11)来填充网络。第二至最后一行是所选择的系列网络选择。最后一行是命中日志。请注意前两步很好地抽样了游戏盘不同地区。此后，所记录命中为 66。该算法然后智能地选择 77和 88，它能推断它们一定是战舰的最后位置。下图进一步地描述了学习过程的特征。它将游戏平均长度（完全轰炸战舰所需步骤）与训练时间进行对照。该程序非常迅速地学到基础知识并随着时间推进而持续进步。小结在本贴中，我们讲到RL的一种——即策略梯度、深度RL方案。该方法一般是当前最知名战略，偶尔也从其他方法中取样，最终实现策略的迭加改进。其两个主要成份是策略网络和收益函数。尽管网络结构设计通常是督导学习考虑得最多的地方，但在RL的情况下最费神的是收益函数。为了方便训练（依靠长远预测会放慢学习过程），好的选择应该是时间上尽可能地靠近。然而，收益函数常常也会损害到这一过程的最终目标（“赢”这场游戏——鼓励侧向追求，而一些侧向追求是不必要的，但如果不加注意会时常出现）。要在这两种互相竞争的要求间进行权衡并不容易。所以收益函数设计在某种程度上说是一种艺术。我们这个简短的介绍只想说明RL实际上是如何实行的。更多细节，我们推荐两个来源：Sutton 和Barto的文本书[3]和最近John Schulman的谈话[4]。注释和参考资料 [1]游戏规则：（常见的简单游戏：略） [2] 我有位同事（HC）提出，该程序可能在某个点上开始拟合过度。但这种一维游戏战舰的位点太少，训练集分割似乎不太合适。不过，如果我们转移到更高维度并加入更多战舰时会管用。 [3] Sutton 和 Barto, (2016). 《增强学习引论》文本地址在此. [4] John Schulman, (2016)，《弯区的深度学习学院》 Youtube 的谈话录音在此. 本文译者为：kundogma 原文来自：EVAVDB

支付宝进入‘刷脸’时代

近几年来，伴随着全球范围内互联网技术普及和传统金融行业对创新变革的诉求，我国的互联网金融行业开始快速发展。拥有健全的客户识别与验证机制是金融企业开展业务的必要条件和监管要求，识别每一个客户的身份是金融企业应尽的企业义务。蚂蚁金融服务集团（以下简称：蚂蚁金服）作为互联网金融的实践者，一直在努力探索这类技术创新，在实践中摸索符合金融监管要求的互联网身份验证方法。传统金融企业的客户身份识别过程主要依赖于“面对面”的用户到场的柜台当面签约，这种方式有助于核实本人操作并保障本人意愿。但在互联网的业务背景下，这种模式实现过于单一，并且面临柜面渠道不足、便捷性不佳和存在人工舞弊等风险。为了解决此类便捷性和可靠性之间的矛盾，蚂蚁金服一直在研发通过生物识别技术实现“非面对面”身份验证的方法，并在蚂蚁金服不同的业务场景做积极的探索和尝试，其中在支付宝APP 9.3版本中首次向亿万用户推出了“刷脸登录”，标志着互联网身份认证真正进入了“刷脸”时代，我们相信以“人脸识别”为代表的生物识别技术在互联网金融领域还有更广阔的应用场景和更大的提升空间，因此也希望通过本文向各位致力于将生物识别技术应用于互联网金融行业的客户身份识别体系和建设的同行分享和交流，并共同推动这一技术不断向前，使其真正成为互联网生态下的一种基础设施。一．生物识别技术概述生物识别技术是一个既古老又新潮的技术，拿指纹来说，“摁手印”这种身份认证方式已经有几千年的历史，说它新潮，也就是最近两三年，随着智能手机的快速发展和普及，指纹识别作为一种替代密码的登录或认证方式，也已经被很多用户接受。而现在我们所接触到的生物识别技术，本质上都是将生物技术与信息技术结合起来的新型识别技术，它将人体所固有的生理特征或行为特征，通过计算机技术、光学、声学、生物传感器等手段进行数字化，然后利用起来进行个人身份鉴定。相比于传统的身份识别方法，生物特征识别技术具有稳定、便捷、不易被仿造等优点，成为了安全认证的首选方式，近年来在国际上已经得到广泛的研究和应用。原则上，人的任何生理或者行为特征，只要满足普遍性、安全性、唯一性、稳定性、可采集性等条件，都可以作为生物特征用于身份鉴定。所谓普遍性，指每个人都具有具备的特征；所谓安全性，指此特征对于每个人是独特的，可用于个人身份证明；所谓唯一性，指任何两个人的该特征都是不相同的；所谓稳定性，指该特征不会随时间等条件的变化而变化，至少在一段时间内是不变的；所谓可采集性，指该特征要便于采集和定量测量。生物特征识别技术主要可解决两类问题：身份认证和身份识别。身份认证是判断待识别用户是否是他所声明的身份，只需要将输入的用户特征与数据库中所存储的该身份的模板特征相比对，是“一对一”的比较；身份识别是利用注册用户数据库来确定待识别用户的身份，需要将输入的用户特征与库中所有的身份模板特征进行比对并给出相似度，来判别待识别用户是库中的哪个身份（相似度最高），是“一对多”的比较。一些常用的生理特征包括指纹、虹膜、人脸、视网膜、掌纹等，常用的行为特征包括声纹、笔迹、步态等。虽然每一种生物特征都可以作为身份辨别的依据，但是安全与体验衡量每一种生物特征优劣的两个标准，如图一所示不同的生物特征技术在这两个维度上都有所区别，各有侧重。比如虹膜识别技术是目前已知的所有生物识别技术中安全性最高的（十万分之一误识率的情况下准确率可以达到99%），但同时也是用户体验较差的，因为目前虹膜的采集还依赖与专用的红外摄像头，也需要用户主动式配合。从图一也可以看出指纹和人脸是在安全性和用户体验两方面都比较平衡的，也是目前市场上应用最广泛的两大生物识别技术。图一：不同生物特征比较二．基于人脸识别的身份认证体系人脸识别技术相比较指纹识别技术，还有另一大特点就是人脸（或者说肖像）本身就已经是绝大多数身份证件（如身份证、护照、社保卡等）的鉴识主体，这个特点使得普通老百姓对人脸识别技术最容易接受，另一方面也因为存在官方的人脸数据库，采集人脸以后可以直接与官方人脸身份库比对，从而将“人脸“与”身份“直接联系起来，免去了用户提前注册的环节。下图二说明的就是一个完整的基于人脸识别的身份验证流程：通过移动客户端采集用户的活体人脸信息及身份证照片并进行防伪检测，最后使用人脸识别算法验证，检验“活体人脸”、“身份证照片人脸”与“官方人脸数据库”三者是否一致，从而达到人证合一校验的目的。这种方法的本质是利用“客户本人的生理特征要素”进行身份验证，与我国最新的《非银行支付机构网络支付业务管理办法》[1](第二十二条支付机构可以组合选用下列三类要素，对客户使用支付账户余额付款的交易进行验证：[三]客户本人生理特征要素，如指纹等)的要求也是一致的。图二远程身份认证流程蚂蚁金服一直致力于研发最先进的生物识别技术并将其应用于互联网身份认证领域，实现更高的安全性与更好的用户体验。以世界领先的人脸比对算法为基础，研发了交互式人脸活体检测技术和图像脱敏技术，并设计了满足高并发和高可靠性的系统安全架构，以此为依托的人脸验证核身产品提供服务化接口，已经成功产品化并在网商银行和支付宝身份认证等场景应用。这其中的几项核心算法分别是活体检测算法，图像脱敏算法以及人脸比对算法。其中活体检测算法是指系统发出几个随机的动作指令，如：点点头、眨眨眼、张张嘴等，并通过手机摄像头实时采集并检测用户是否正确的完成了相应的动作，同时检测其他 “活体面部信息”，最终达到采集活体人脸的目的。图像脱敏算法只是将人脸图像在网络传输之前，在采集端先进行某种单向变换使得图像不可逆，从而达到保护隐私的作用，同时又能保证脱敏后的人脸图像能尽可能的保留面部特征，在服务端可识别。人脸比对算法则是人脸识别核心算法中的核心，它的作用是判断任意两张人脸图片是来自同一个人还是不同人，从而达到识别人脸的目的。近几年随着深度学习神经网络技术的快速发展，以及社交网络带来的人脸图片数据爆发式增长，“人工智能+大数据”两方面的结合使得人脸识别核心算法也取得突破进展，根据2014年香港中文大学所做的一项研究结果表明，在国际公开人脸数据库LFW上，彼时人脸识别算法的准确率（99%）已经超过了肉眼识别（97.2%）[2]，而目前蚂蚁金服运用的人脸识别算法在这个数据库上的准确率已经达到99.6%。另外在2015年初向公安部提交了人脸识别算法和技术的测试申请，进一步验证人脸活体检测防攻击和人脸比对两方面在实际真实场景的性能。尽管如此，从算法到线上服务再到用户体验，从实验室性能到实际场景性能，仍然有很多挑战性问题需要解决。为此我们根据蚂蚁金服的业务场景，设计了满足高并发和高可靠性的系统安全架构，如下图三所示。除了算法服务层本身，还与核身决策层（核身行为采集）和业务决策层（业务行为采集）相结合，使得每一位用户的人脸验证结果，不仅仅取决于人脸比对算法的结果，还取决于这个用户在这个业务场景下发生的完整行为，从而形成一个多信息融合的立体决策体系和标准的人脸核身产品，支持蚂蚁金服不同的业务场景。图三：生物识别核身架构自2015年人脸识别功能在支付宝APP上线后，已在用户登录、实名认证、找回密码、商家审核、支付风险校验等多个场景中，作为主要身份验证方式全面应用，目前已经服务几千万用户，可同时满足每分钟20万人以上的身份验证需求。同时也在网商银行的会员注册场景使用人脸识别，内测阶段辅助注册三万多人，整体真实场景自动注册与审核环节包括人脸识别、身份证识别与防伪检测以及大数据分析三个步骤，人工确认环节未发生误检，极大的提高了人工效率并降低了审核成本，同时在真实业务场景下的千万级别用户身份验证的实践成果是其它国家尚未达成的，相信未来将成为互联网身份识别与验证的主流方法。三．结语实践表明，与传统基于密码等身份验证方法相比，人脸识别技术在安全性、可靠性、识别性能和用户体验方面的都得到了大幅提升，对实现互联网金融场景下的远程开户、网上支付等应用具有很现实的意义。蚂蚁金服在声纹，眼纹，掌纹，笔迹等生物认证核心技术研发上也同步推进，通过多因子认证的方式增强人脸识别，达到更高的安全等级和识别精度。此外，蚂蚁金服联合国家相关机构，正在起草人脸识别技术的系列标准，进一步规范人脸识别的技术指标和要求，为业务的深入和推广提供基础参考。综上所述，创新身份验证技术的应用是对互联网金融业务的基础性工作，是金融稳妥创新的重要技术保障。经过实践检验的身份验证中的创新技术，是对传统身份验证方法在技术上的改进和提高，而不是对传统金融稳妥性的颠覆。新技术的应用有助于提高群众服务的便捷性，并且保证业务上更加安全、可靠。除此之外，这些创新技术的实践，还可以带动其它行业的类似业务场景，从而在全社会范围内促成更广泛的工作流程改进和社会成本节约。参考文献：【1】人民银行，《非银行支付机构网络支付业务管理办法》，2015年12月【2】中国信息安全，《人脸识别新技术准确率超肉眼》，2014年7月

readygo个人页面-阿里云开发者社区

个人介绍

擅长的技术

深度增强学习实践：让Python小程序玩一款游戏，来训练神经网络

智能机器人助力互联网金融行业升级

从咻红包看零售金融的新玩儿法

支付宝进入‘刷脸’时代

Docker在蚂蚁金融云平台中的探索与实践

智能机器的现实风险

深度增强学习实践：让Python小程序玩一款游戏，来训练神经网络

智能机器人助力互联网金融行业升级

开放共享：网商银行的运营探索及技术支撑

从咻红包看零售金融的新玩儿法

支付宝进入‘刷脸’时代

Docker在蚂蚁金融云平台中的探索与实践

支付宝分层与端到端回归平台建设实践

RSS 2016研讨会随想：质疑者是正确的吗——深度学习在机器人领域的局限和潜力都在哪里？

MySQL资料大全

Hadoop学习资源集合

史上最全的“大数据”学习资源（上）

28款GitHub最流行的开源机器学习项目（一）：TensorFlow排榜首

Google, Facebook, Amazon, Apple的人工智能之争——收购AI开发团队

什么使软件技术变得伟大？

Uber首席系统架构师Matt Ranney：可伸缩的软件系统工作原理

OpenGL是如何运转的：在500行代码中的软件渲染器