中国人工智能学会通讯——深度学习的迁移模型 一、迁移学习的三大优点

一、迁移学习的三大优点

为什么我们做迁移学习？我总结了三条原因。

●小数据。我们生活当中大量遇见的是小数据而不是大数据，当数据很稀疏，看到不同的类别我们还是能在当中做出很靠谱的模型。这并不是空穴来风，而是之前我们有过很多大数据的经验可以去借鉴，站在大数据的巨人肩膀上，所以人工智能大量的应用，迁移学习这种模式是必不可少的。

●可靠性。 即使我们有一个大数据模型，我们也很关心它的可靠性。把一个模型迁移到不同的领域，就会发现它的准确率会大量下降，如何防止这一点，就需要模型本身具有自适应的能力，能够自带迁移能力。

●个性化。整个社会，我们的应用在向一个个性化的方向发展，有了云端，有了各种各样的终端，终端的操作者都是我们个性化的人。那么我们让一个模型、一个服务来适应每个人的特性，迁移学习是必不可少的。

迁移学习的难点在于找出不变量

迁移学习又是很难的。教育学有一个概念叫“学习迁移”。就是说，如果一个学生学到了很靠谱的知识，怎样检测呢，就是看看他有没有能力迁移到未来的场景，再学一门新课他就发现学得容易，但是这种学习迁移能力的传输又非常难。

我们来看看怎样找出不变量。在国内和世界很多地方，驾驶员都是坐在左边，但是去香港，驾驶员就是在右边，很多人不会开车了，就会出现危险。如果用迁移学习教你一招马上可以开，而且很安全，就是找出一个不变量。这个不变量就是司机的位置总是靠路中间最近的，你就保持司机的位置离中线最近就可以了。

找出不变量很难，但是在其他的领域已经大量出现。最近Yann LeCun提出一个问题：机器学习的热力学模型是什么？我的回答是迁移学习，把一个领域里面的知识，也就是“能量”，转化到另外一个领域，这和热力学把两个物质放在一起，然后研究热能量是如何在物质间传播的，是类似的概念。区别是，在我们这里的知识比物理里的能量复杂很多倍。所以这个问题在科学上也有深远意义。