hongtao2018
TA的个人档案
hongtao2018个人页面-阿里云开发者社区
文章
33
问答
0
个人介绍
暂无个人介绍
擅长的技术
- 高分内容
- 最新动态
- 文章
- 问答
-
发表了文章 2018-10-17
AI学习笔记——强化学习之Model-Free Prediction--解决未知环境下的预测问题
前面关于强化学习的文章中介绍了MDP，动态规划的方法对MDP问题的V函数进行评估和求最优策略。然而现实问题中，往往很多时候环境是未知的。那么这篇文章就介绍一下在未知环境下用Model Free的方法预测MDP。 1. Monte-Carlo （蒙特卡洛）策略估计 Monte-Carlo(MC)方法广泛应用于数学、物理和金融等领域。比如在物理学中研究离子运动轨迹，我们就可以采用Monte-Carlo方法进行多次随机抽样，观测离子运动规律。 同样的，在解决强化学习问题的时候，机器人面对未知环境的时候，它也可以用MC的方法评估当前策略。如果想知道当前策略π，当前状态s下的价值函数V函数，在当前策略π下直接行动，待到达终点之后(完成一个episode)，再复盘整个过程所获得的奖励，评估出s状态下的V函数。然后再不停迭代，最终获得该策略π下s状态下的真实V函数Vπ(s)。 当然Monte-Carlo策略估计方法也分为首次访问MC方法和每次访问MC方法，两者唯一的不同只有一处，下面算法过程中在括号中的就是每次访问MC方法。 算法过程如下: 在一个episode中，当s状态第一次被访问到(或者每次被访问到)的时候，计数器N(S)=N(S)+1。 总共得到的奖励S(s) = S(s) + Gt 价值V函数的数值V(s)= S(s) /N(s) 当迭代无数次之后，根据大数定理，V(s)就应该趋近真实的V函数Vπ(s) 2. Monte-Carlo(MC)迭代更新 在介绍Monte-Carlo迭代更新之前必须先引入一个迭代求平均的例子。比如你想算一箱苹果中苹果的平均重量，简单的方法是随机抽取几个苹果，将这几个苹果的重量相加再除以个数就估算出了苹果的平均重量。 如果想让这个估计更加精确，你又从箱子里面拿出一个苹果，这时候还需要将所有拿出来的苹果重量相加吗？当然不需要。你只需要将这个苹果的重量减去之前求得的平均数，再除以总共拿出苹果的数量得到误差。最后原平均数加上这个误差就是新的平均数了。证明过程如下。 有了这个迭代求平均值的方法我们就可以改进MC算法，不用记住总共得到的奖励S(s)了 对于每个St，和奖励Gt 其实我们甚至都不用记住N(St), 因为在非静态的(Non-Stationary)的问题中，如果N越大，就意味着误差越小，当前行动对V函数的纠正就越小。所以在实际过程中我们往往用一个固定的学习速率α来代替1/N(St): 这个公式是不是跟之前的梯度下降(Gradient Desent)方法非常类似了。 3. Temporal-Defference (TD)算法 MC有一个很大的缺点，就是要更新V(s)一定要走完整个epsoide。TD方法不需要走完整个epsoide，走有限几步就可以更新，极端情况下TD(0)甚至可以走一步就更新。 回顾MC算法： 其中 TD(0)算法： 如英文描述红色文字部分叫做TD-target。与MC类似括号里面的误差叫做TD error 4. MC vs TD MC有高Variance 零Bias: 收敛性好 对初始值不敏感 算法容易理解和使用 MC 对解决非马可夫环境(或者部分马可夫环境)效果好。 TD有低的Variance，一些Bias 比MC效率高 TD(0)能收敛于Vπ(s) 对初始值敏感 TD能探索出马可夫模型，对马可夫环境效果好。 5. DP，MC，TD比较 之前文章中介绍的动态规划(DP)，与MC，TD相比较可以发现 从抽样的数量和反馈的深度可以这样理解DP,MC和TD 实际上TD不仅仅只有只走一步的TD(0), 可以是n TD(n)。当n等于无穷大的时候TD=MC
-
发表了文章 2018-10-04
AI学习笔记——强化学习之动态规划(Dynamic Programming)解决MDP(2)
求解最优MDP实际上就是找到最佳策略(Policy)π来最大化来最大化V函数(Value Function)。 公式一 1. 策略估算(Policy Evaluation) 在MDP问题中，如何评估一个策略的好坏呢？那我们就计算这个策略的V函数（值函数），这里我们又要用到之前文章中提到的Bellman Equation了。 公式二 这个等式可以通过下一个状态的值函数来求得当前状态的值函数。如果我们对上面这个Bellman Equation中的每一个状态不停地迭代，最终每个状态的V(值)函数都会收敛成一个固定的数值。公式如下 公式三 这个公式与公式二不同的是引入了k，k是指迭代的次数。Bellman等式左边表示k+1代s状态上的V函数，Bellman等式右边是k代中s下一个状态s'的的相关函数。第二个等式是Bellman等式的矩阵形式。我们使用这个公式将第k+1代的每一个状态s都更新之后，就完成了第k+1次迭代。 V函数真的会收敛到一个稳定的数值吗？我们不妨举一个例子。 图一 图中左上角和又下角是机器人的目标奖励为0，其他地方奖励为-1，策略是随机运动(上下左右移动的概率相等，为π=0.25)。价值函数的迭代过程如下： 图二 可以看出在这个随机运动策略决策下，通过对Bellman 等式的不断迭代最终V函数会收敛到一个稳定的数值。 2. 策略迭代(Policy Iteration) 通过迭代Ballman函数的方式完成V函数的收敛，从而完成了对这个策略的评估。上面的例子即便收敛之后，就得到了随机运动的策略π的V函数。 接下来我们就要改进这个随机策略，改进的方法就是选择获取最大奖励的策略，而并不是跟之前一样随机运动。这种获取最大奖励的策略就叫做Greedy策略。 图三 所以策略迭代分为两步： 第一步：用迭代Bellman 等式的方法对策略进行评估，收敛V函数（公式三） 第二步：用Greedy的方法改进策略。 上面两个步骤不停循环，最终策略就会收敛到最优策略。 图四 2. 值迭代(Value Iteration) 也许你已经发现了，如同上面的例子，如果想找到最佳策略，在用Bellman等式迭代的过程中，并不一定需要等到V函数完全收敛。或许可以设定一个迭代上限，比如k=3就停止迭代了。 那更加极端地，在迭代Bellman 等式的过程中，我们只迭代一次(k=1)就采取Greedy策略，而不必等到V函数收敛，这种特殊的策略迭代方法就叫做值迭代(Value Iteration) 公式四 值迭代简单粗暴，直接用Bellman等式更新V函数，每次更新的时候都用Greedy的策略，当V函数收敛的时候策略也就收敛了。这个时候得到的策略就是最佳策略。 3. 总结 策略迭代和值迭代是寻找最优策略的方法，策略迭代先评估策略用迭代Bellman等式的方式使V函数收敛，然后再用Greedy的策略对原策略进行改进，然后不断重复这两个步骤，直到策略收敛。 值迭代可以看成是策略迭代的一种特殊情况，只迭代Bellman函数一次便使用Greedy策略对V函数进行更新，然后重复这两个动作直到V函数收敛从而获得最佳策略。 相关文章AI学习笔记——求解最优MDPAI学习笔记——MDP(Markov Decision Processes马可夫决策过程)简介AI学习笔记——Q LearningAI学习笔记——Sarsa算法AI学习笔记——卷积神经网络（CNN） 文章首发steemit.com 为了方便墙内阅读，搬运至此，欢迎留言或者访问我的Steemit主页
-
发表了文章 2018-09-28
AI学习笔记——强化学习之动态规划(Dynamic Programming)解决MDP(1)
我们介绍过MDP(Markov Decision Processes马可夫决策过程)以及什么是最优MDP，甚至从强化学习的角度介绍了DQN，Q-learning, Sarsa 等求解最优MDP方法，但是要深入理解强化学习，必须了解背后支持的理论基础。动态规划(Dynamic programming)就是这些算法为什么能够求解最优MDP的理论基础。 动态规划的本质是将复杂大问题分解成，相互重叠的简单子问题，求到子问题的的最优解，然后将这些最优解组合起来就是大问题的最优解。 举个简单的例子，女朋友想在衣帽间中找到最搭的穿戴(衣服，帽子，鞋子，首饰。。。)。这是一个复杂的问题，但是我们可以把这个问题分解成互相重叠的小问题，比如，找到最佳搭配的鞋子和裤子。最佳搭配的裤子和衣服，最佳搭配的衣服和首饰等等。。。将这些搭配打完分之后，你自然就会找到最佳搭配的(得分最高的)衣服，裤子，帽子，鞋子和首饰了。 能用动态规划解决的问题必须满足两个条件，第一是可以拆解成子问题，第二这些子问题必须能相互重叠，MDP就满足这两个条件。 在用动态规划解决MDP问题的时候需要用到之前提到的Bellman公式，已经用Bellman公式1.预测v函数(状态值函数)，2.通过价值迭代(Value iteration)求最优MDP 3. 通过策略迭代(Policy Iternation)来求得最优MDP。这些内容将放在下一篇文章中介绍。 相关文章AI学习笔记——求解最优MDPAI学习笔记——MDP(Markov Decision Processes马可夫决策过程)简介AI学习笔记——Q LearningAI学习笔记——Sarsa算法AI学习笔记——卷积神经网络（CNN） 文章首发steemit.com 为了方便墙内阅读，搬运至此，欢迎留言或者访问我的Steemit主页
-
发表了文章 2018-09-27
AI学习笔记——深度Q-Learning(Deep Q-Learing(DQN))
之前的文章介绍了Q-learning, 介绍了深度学习(Deep Learning)，DQN顾名思义就是将两者结合起来。DeepMind公司也就是用DQN从玩各种电子游戏开始，直到训练出阿尔法狗打败了人类围棋选手。本文就简单地介绍一下DQN的基本概念。 1. Q-Learning 和 深度学习回顾 Q-learning是通过不停地探索和更新Q表中的Q值从而计算出机器人行动的最佳路径的，公式为 Q(s0,a2)新=Q(a0,a2) 旧 + α* [Q(s0,a2)目标 - Q(s0,a2)旧] Q(s0,a2)目标 =R(s1) + γ*max Q(s1,a) 深度学习就是用神经网络来学习数据，常见的深度学习网络如全连接的，CNN，RNN等等。 2. DQN搭建 为什么玩电子游戏没办法直接用Q-learning 来学习最佳路径呢？因为电子游戏的每一帧图片就可以是一种状态，游戏中的角色又可以有多种动作(上下左右，下蹲跳跃等等)。如果用Q表来记录每一个动作所对应的状态，那么这张Q表将大到无法想象。 DQN不用Q表记录Q值，而是用神经网络来预测Q值，并通过不断更新神经网络从而学习到最优的行动路径。 DeepMind 用DQN来玩电子游戏，他们将游戏画面的像素转换成深度神经网络的输入数据(状态s)，用CNN(卷积神经网络)来预测动作a(a1,a2,a3 ....), 和对应的Q(s, a1), Q(s, a2),Q(s, a3)... 然后算法通过更新神经网络(NN)中的参数(w, b ...)，来更新NN，从而优化模型得到最优解。 3. 记忆库(Experience replay)和Fixed Q-target(固定Q-目标) DQN中有两个神经网络(NN)一个参数相对固定的网络，我们叫做target-net，用来获取Q-目标(Q-target)的数值, 另外一个叫做eval_net用来获取Q-评估(Q-eval)的数值。 我们在训练神经网络参数时用到的损失函数(Loss function)，实际上就是q_target 减 q_eval的结果 (loss = q_target- q_eval )。 反向传播真正训练的网络是只有一个，就是eval_net。target_net 只做正向传播得到q_target (q_target = r +γ*max Q(s,a)). 其中 Q(s,a)是若干个经过target-net正向传播的结果。 训练的数据是从记忆库中随机提取的，记忆库记录着每一个状态下的行动，奖励，和下一个状态的结果(s, a, r, s')。记忆库的大小有限，当记录满了数据之后，下一个数据会覆盖记忆库中的第一个数据，记忆库就是这样覆盖更新的。 q_target的网络target_net也会定期更新一下参数，由于target_net和eval_net的结构是一样的。更新q_target网络的参数就是直接将q_eval 的参数复制过来就行了。 见下图DQN的基本结构 随机抽取记忆库中的数据进行学习，打乱了经历之间的相关性，使得神经网络更新更有效率，Fixed Q-targets 使得target_net能够延迟更新参数从而也打乱了相关性。 Deep Mind 就是靠CNN, 记忆库和Fixed Q-target这三把利剑让机器学会了如何玩游戏，甚至在电子游戏中还能打败人类玩家。 参考文献： Playing Atari with Deep Reinforcement Learning 相关文章AI学习笔记——求解最优MDPAI学习笔记——MDP(Markov Decision Processes马可夫决策过程)简介AI学习笔记——Q LearningAI学习笔记——Sarsa算法AI学习笔记——卷积神经网络（CNN） 文章首发steemit.com 为了方便墙内阅读，搬运至此，欢迎留言或者访问我的Steemit主页
-
发表了文章 2018-09-22
AI学习笔记——求解最优MDP
上一篇文章介绍了MDP的基本概念，但是我们更关心的是如何寻找到最佳的路径解决MDP问题。MDP过程中，可以有无数种策略(policy)，找到最佳的路径实际上就是找到最佳的Policy 来最大化V函数(Value Function)或者Q函数(Action-Value Function)。 用数学表达式表达出来就是： 其中加星号* 的v和q表示最优的v和q。 还记得上一篇文章中的那个例子吗？学生学习的的状态有Facebook, Class1, Class2, Pass, Sleep 6个状态(State)，每个状态都有一个或者多个行动(Action)。最优的V函数和Q函数都已求出来了，找到最优策略就是找到最大q*的过程。显然红色的路径就是最优策略，只有沿着这条路径才能的到最大的奖励。 同样的，用Bellman 等式可以得到最优V函数和最优Q函数的关系，以及他们自己的递归关系： 同样的用Bellman等式，我们可以验证为什么V(Pass) = 10. Pass 这个状态有两个行动，分别为Study和Pub。Study 对应一个状态Sleep，Pub对应三个状态Class1, Class2, 和 Pass。那么假设γ=1 V(Pass) = Max{+10+0，+1+(0.2x6 + 0.48 + 0.410)} = Max{10, 8.6} = 10。 用同样的方法可以验证每一个状态的V函数。 当然我们现在只能验证，无法真正求解最优V函数和Q函数，如果能求解最优Ballman 等式我们就能得到最优的V函数和Q函数进而得到最优的策略。 但是遗憾的是最优Ballman等式并不是线性的，所以不能直接通过解线性方程的方法求得。但是可以通过一些迭代算法求得，之前的Q-Learning和Sarsa 算法就是求最优Ballman等式的算法，当然这些算法也就是强化学习的算法了。 文章首发steemit.com 为了方便墙内阅读，搬运至此，欢迎留言或者访问我的Steemit主页
滑动查看更多
暂无更多信息
-
发表了文章
2018-02-26
人工智能学习笔记之——人工智能基本概念和词汇
-
发表了文章
2018-02-26
使用了6年的Mac Book Pro, 依然坚挺
-
发表了文章
2018-03-24
装了一台『黑苹果』
-
发表了文章
2018-03-24
人工智能学习笔记二 —— 定义问题
-
发表了文章
2018-03-24
在Windows10中运行Unbuntu
-
发表了文章
2018-03-24
将黑苹果降级了 并上了Raid磁盘阵列
-
发表了文章
2018-03-26
AI学习笔记——神经网络和深度学习
-
发表了文章
2018-04-01
AI学习笔记——卷积神经网络（CNN）
-
发表了文章
2018-04-03
因为夫妻不同姓氏的尴尬问题
-
发表了文章
2018-04-04
如果癌症检测成阳性（准确率为90%）……怎么办
-
发表了文章
2018-04-06
概率问题，从癌症检测到贝叶斯网络
-
发表了文章
2018-04-29
AI学习笔记——循环神经网络（RNN）的基本概念
-
发表了文章
2018-04-29
将黑苹果中的的Terminal和Bash for Windows美化了一下
-
发表了文章
2018-05-08
威尔士游记
-
发表了文章
2018-06-02
AI学习笔记——机器学习中误差分析的几个关键概念
-
发表了文章
2018-06-18
机器学习实战篇——用支撑向量算法在Kaggle上跑个分
-
发表了文章
2018-06-18
机器学习实战篇——用卷积神经网络算法在Kaggle上跑个分
-
发表了文章
2018-07-13
AI学习笔记——Autoencoders(自编码器)
-
发表了文章
2018-07-20
谈谈英国的移动支付和“虚拟银行卡”
-
发表了文章
2018-07-23
AI学习笔记之——如何理解机器学习(Machine Learning)
滑动查看更多
暂无更多信息