决策过程
s(state)——状态
a(action)——动作
r(reward)——奖励
根据每个状态下的动作得到的奖励值,列出Q表。
如下图中,在s1状态下,动作a1的奖励值为-2,动作a2的奖励值为1,-2<1,我们选择回馈较高的动作a2;同理,在s2状态下,动作a1的奖励值为-4,动作a2的奖励值为2,-4<2,我们选择回馈较高的动作a2.
Q表更新原则:
γ——衰减值
α——学习效率
在状态s1中,由于动作a2得到的奖励值比动作a1大,我们选择采取动作a2,此时状态变为s2。这时候s2还没有动作,而是根据Q表估计 (s1, a1) 和 (s1, a2) 的奖励值。
算法:
问题
为什么需要衰减值和学习效率?