【RLchina第五讲】Control as Inference（下）

• Q和V 之间的关系：

  到这我们已经得到了策略，更进一步我们考虑Q 和V 之间的关系。考虑对动作空间下的边缘概率分布积分有：

但是往往环境是随机的，所以我们有：

 上述的这个反向传播值函数是很特别的，与以往的Q 值函数更新公式不同的地方在于，对于未来状态的状态值函数做了一个softmax这样的东西，这就使得不会突出考虑最大的那个值函数，也能够增加更多的探索。对于随机环境来说会有比较好的效果。

隐目标函数下的最大熵强化学习

优化目标为这两者的KL散度：

两边取负号，并将其展开可得：

此时最小化KL散度变成了最大化期望奖励和策略的熵。对于最后一步T TT，把末尾项展开，把策略扔到计算期望的函数里面，可以得到如下形式：

整理可得：

可以看出，基于图概率下的策略搜索和基于变分推断做KL散度得到的策略结果是一样的。这也充分说明之前做的police inference就是在解决这个潜在目标函数下的优化问题。

随机环境下的优化

此时的KL散度优化目标可以写为：

由于存在 这一项，在无模型的设定里，这一项是比较难优化的。

最大熵强化学习与变分推断

  变分推断是用一个简单的变分分布去近似后验分布，在最大熵RL里面的轨迹概率为：

这里我们将需要去近似这个分布的概率设置为：

最后一个不等式是通过Jensen’s inequality推导得到的。再依据p ( τ ) 和q ( τ )的定义，带入上述方程中，我们可以得到如下不等式：

上述用图模型思考强化学习问题的时候，目标函数会带一个entropy项。

Soft Q-Learning

为了与标准的Q-Learning算法对比，我们给出标准的Q-Learning算法的更新公式：

• Liu Q , Wang D . Stein Variational Gradient Descent: A General Purpose Bayesian Inference Algorithm[C]// 2016.
• Haarnoja, T., Tang, H., Abbeel, P., and Levine, S. (2017). Reinforcement learning with deep energy- based policies. In International Conference on Machine Learning (ICML).

最大熵策略梯度

目标函数可以定义为：

对其求梯度有：

Soft Actor-Critic

  SAC就是将优势函数也进行参数化，变成一个off-policy的算法。优化目标为：

 对Q 值函数一样，有：

对其求导有：

策略优化目标为：

伪代码：

参考文献

1. Pattern recognition and machine learning by Bishop 2006
2. Levine, S., 2018. Reinforcement learning and control as probabilistic inference: Tutorial and review. arXiv preprint arXiv:1805.00909
3. Haarnoja, T., Tang, H., Abbeel, P., and Levine, S. (2017). Reinforcement learning with deep energy- based policies. In International Conference on Machine Learning (ICML).
4. Tuomas Haarnoja*, Aurick Zhou*, Kristian Hartikainen*, George Tucker, Sehoon Ha, Jie Tan, Vikash Kumar, Henry Zhu, Abhishek Gupta, Pieter Abbeel, Sergey Levine. Soft Actor-Critic Algorithms and Applications. arXiv preprint, 2018.
5. Kappen. (2009). Optimal control as a graphical model inference problem: frames control as an inference problem in a graphical model
6. Ziebart. (2010). Modeling interaction via the principle of maximal causal entropy: connection between soft optimality and maximum entropy modeling.