中国人工智能学会通讯——深度学习的迁移模型 一、迁移学习的三大优点-阿里云开发者社区

开发者社区> 人工智能> 正文

中国人工智能学会通讯——深度学习的迁移模型 一、迁移学习的三大优点

简介:

一、迁移学习的三大优点

为什么我们做迁移学习?我总结了三条原因。

●小数据。我们生活当中大量遇见的是小数据而不是大数据,当数据很稀疏,看到不同的类别我们还是能在当中做出很靠谱的模型。这并不是空穴来风,而是之前我们有过很多大数据的经验可以去借鉴,站在大数据的巨人肩膀上,所以人工智能大量的应用,迁移学习这种模式是必不可少的。

●可靠性。 即使我们有一个大数据模型,我们也很关心它的可靠性。把一个模型迁移到不同的领域,就会发现它的准确率会大量下降,如何防止这一点,就需要模型本身具有自适应的能力,能够自带迁移能力。

●个性化。整个社会,我们的应用在向一个个性化的方向发展,有了云端,有了各种各样的终端,终端的操作者都是我们个性化的人。那么我们让一个模型、一个服务来适应每个人的特性,迁移学习是必不可少的。

迁移学习的难点在于找出不变量

迁移学习又是很难的。教育学有一个概念叫“学习迁移”。就是说,如果一个学生学到了很靠谱的知识,怎样检测呢,就是看看他有没有能力迁移到未来的场景,再学一门新课他就发现学得容易,但是这种学习迁移能力的传输又非常难。

我们来看看怎样找出不变量。在国内和世界很多地方,驾驶员都是坐在左边,但是去香港,驾驶员就是在右边,很多人不会开车了,就会出现危险。如果用迁移学习教你一招马上可以开,而且很安全,就是找出一个不变量。这个不变量就是司机的位置总是靠路中间最近的,你就保持司机的位置离中线最近就可以了。

找出不变量很难,但是在其他的领域已经大量出现。最近Yann LeCun提出一个问题:机器学习的热力学模型是什么?我的回答是迁移学习,把一个领域里面的知识,也就是“能量”,转化到另外一个领域,这和热力学把两个物质放在一起,然后研究热能量是如何在物质间传播的,是类似的概念。区别是,在我们这里的知识比物理里的能量复杂很多倍。所以这个问题在科学上也有深远意义。

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

分享:
人工智能
使用钉钉扫一扫加入圈子
+ 订阅

了解行业+人工智能最先进的技术和实践,参与行业+人工智能实践项目

其他文章