模仿学习是将专家经验作为样本进行强监督学习的一种方法。
模仿学习对比强化学系
模仿学习
优点:
1.简单、稳定的监督学习过程
缺点:
1.需要提供榜样行为数据
2.需要处理多解型行为(例如 绕过障碍物,可以从左边或者右边,但是专家数据不一定覆盖所有行为,可以用多元高斯分布去等方法去处理)
3.不能超越人类水平
强化学习
优点:
1.可以超越人类水平
缺点:
1.需要设置奖励函数
2.必须解决策略探索性问题
3.训练可能不收敛、不稳定
结合模仿学习和强化学习:Pretrain&Finetune
1.使用模仿学习训练出模型,作为预训练。
2.使用强化学习对模型进行改进。