在开始证明之前，我想说的是定理是证明给怀疑者，如果你对这个定理不怀疑，那么你就不需要证明。接下来直观感受一下强化学习中值迭代的收敛性。
假设现在的Agent处于一个states 下，想要去找一个optimal state，那怎么去找呢？就是遍历所有的policy能够使得当前的states ，在遍历的某个policyπ x下值最大，也就找到了这个state所对应的最大value，用数学语言描述如下：
不用去怀疑，你一定能找到这样的一个最大的state value，因为你遍历了所有的policy。那能够使得state value最大的那个policy π x就是optimal policy π ∗ ，即π x = π ∗ 。那此时贝尔曼方程就是一个完全收敛的情况，可表示为：
如果不收敛，那它(value)肯定还没有到达optimal variable。上述等式在收敛的情况下就会成立，而不仅仅是一个赋值的关系。
观察上述式子，optimal policy是什么？也即每次是如何take action的呢？也就是等式的右端项：
那随便给一个状态，我们每次都按照optimal policy去take action，那每次state value都会大于等于之前非最优的policy所得出来的state value吧：
也就是说每次都按照optimal policy去take action，state value其实都会有所改进(或者至少不会比以前的差)。那真实的state value总有一个上界吧，总会收敛吧。
Value Iteration
再来看看值迭代value iteration ，其实就是不断地去套bellman equation，就变成了对于每一个state去计算V ( s ) 。
我的微信公众号名称：深度学习先进智能决策
微信公众号ID：tinyzqh
公众号介绍：主要研究深度学习、强化学习、机器博弈等相关内容！期待您的关注，欢迎一起学习交流进步！
