LeCun最新演讲:深度学习大革命来了,可微分编程潜力巨大

简介: 今天上午举行的GMIC大会上,Facebook首席AI科学家Yann LeCun进行了主题演讲。他介绍了当前AI的一些最新进展,FAIR在计算机视觉领域提出的一些最先进的架构。他提到,未来还会出现更多的有关深度学习的变革,比如说更复杂的架构,同时也会出现更多的新理论。

今天上午在北京举行的GMIC大会上,Facebook首席AI科学家Yann LeCun进行了主题演讲。他介绍了当前AI的一些最新进展,FAIR在计算机视觉、机器翻译等领域提出的一些最先进的架构。LeCun认为,监督学习不会被替代,但监督会不断减少,或者不断弱化。他强调了可微分编程的潜力,称未来还会出现更多的有关深度学习的变革,比如说更复杂的架构,同时也会出现更多的新理论。

5d1204eb8c355d854ad7edd6ae781ce77d4f756e

Yann LeCun(杨立昆)首先介绍了今天的基于监督学习的AI系统。今天所有的应用,不管是影像、声音或者是图像的识别,或者一种语言翻译到另外一种语言,以及测试等等,都可以利用AI。通过深度学习我们可以训练机器,比如说向它展示一个车的图像,它就会知道这是一辆车,下次向机器展示同一个图像的话你就会得到你想要的答案。在这种监督下的学习对于计算机学习说是非常重要的。

710b7309a540216c9c6eaedbf2effbe70ffb2893

深度学习与传统的机器学习有所不同。端到端的训练可以让机器完成某一项任务,它会告诉你最后的输出是什么。机器会学习整个过程,这是端到端的一个学习过程。通过这种方式,计算机能够更好地了解我们的世界。

30c3887dfefd10f7167f35cda4008ef6ff3765a3

卷积网络(Convolutional Nets)的想法可以回溯到上个世纪八十年代的时候。它可用于识别图像,同时也有很多其他的应用,比如说可以用于语言处理、语音识别等等。

46af429cb08845689dfaa7553c8cdd3780894d10

我们知道神经网络是非常大的,只有在非常强大的计算机上才可以运用,需要有 GPU 加以辅助。在深度学习变得普遍之前,我们需要确保这样的系统可以用。比如说其中的一个例子是我们在 2009 年、2010 年在纽约大学合作的一个实验,这个系统可以识别图像,可以看出马路上的建筑,天空以及路上的车和人等等。这个当时并不是最好的系统,但是我们可以利用这样的技术来去识别一些车辆。

7733e9624ed91a6470bc09b8d11fa529a69fea62

再过几年之后,就有一些公司做了更好、更深的系统。因为深度学习的革命,越来越多人相信深度学习是可以奏效、可以发挥作用的。

bf6e4e7a0ea83d45870ba6e12517499241d41737

大家可以看到在网络的层数越来越深,比如说有 100 层或者 180 层的一些人工神经网络。可以看到随着网络加深,识别的错误率是在不断的下降。有的时候表现得甚至要比人还要好。

7f36d7e0033446459f7412e7d0488fa04b9cc4c9

这个是我们 Facebook 人工智能部门所做的研究,叫做 Mask-RCNN,可以看到它展示出非常好的性能。它不仅仅可以识别出每个人,同时它会为每个人加一个 Mask,所以可以很容易区分出是一个人还是一只狗。在这里大家可以看到它可以识别电脑、酒杯、人、桌子,都可以识别出来。而且也可以数出来到底有多少,而且也可以识别出道路、汽车。

如果五年之前问系统这些问题的话,我们当时可能认为需要 10-20 年时间才能达到今天呈现的效果。

d247ff1d844e90afa5e2dc9a6ceab781b596f98a

这也是 Facebook 所做的一些研究,叫做 DensePose,它可以实现实时的人体姿势估计。我们不仅仅发布了论文,同时连代码也都发布出来了,这样的话世界各地都可以更好的熟知这种技术。

ecfe2bb510387ad81018eb0195e423dc40cab35f

利用这样的技术,我们可以预测人类的行为,不知道大家是不是能够看得清这个视频,我们现在有一个系统能够实时的运行,在一个单一的 GPU 上运行。它可以跟踪很多人的行为,生成视频,而且非常的准确。而且可以实时地生成一些相应的数据和信息,相应的代码也是可以用的。这些都是 Facebook 最新的研究。

35151a6dd8aa80f13f4110f833ef37f64434190a

当然利用的这样的技术不仅仅可以进行图像识别,可以识别人的行动,也可以使用计算机序列来进行机器翻译。这是 Facebook 在加州所做的研究,可以从一种语言翻译到另外一种语言。

77c06d12dee10bdcc27952e977fc7493046312d3

我觉得对于行业说进行这样的开发研究将是会是一个非常有用的过程。对于我们研究团队来说,不仅仅要开发对我们公司来说非常有用的技术,同时我们也希望所开发的技术能够引导整个社区,能够解决我们所感兴趣的问题。我们认为 AI 不仅仅会帮助我们解决问题,同时还会帮助我们解决很多人类自己无法解决的挑战,所以我们会与我们的科学团队一起朝这方面努力。这里是在过去的几年里,FAIR 所发布的一些开源项目,包括像深度学习网络,还有深度学习框架等等。

ade4d236892f442586793371000be38976e46408

接下来我们再来看一下可微分的编程。我们可以从另外一个角度来学习深度学习。实际上它也是一个固定的架构,它涉及到去进行编程,这个编程可以用人工神经网络解释。这个编程一共有三个指数,它实际上和人工神经网络非常的类似,但它会根据所展示的数据有所不同。另外,根据数据系统也会有所变化。

19aa223ef82c3ec48d95a8264250473929088cc8

所以现在的问题是,我们是否有一种方法可以自动地生成一个自己的程序。同时可以对其进行培训完成某一个具体的任务,这也就是我们所说的可微分编程的想法。现在人们已经开始在做一些深度学习方面的研究。

23185dbf52c68dfd621dc1880b0122a3dcebaa23

前面讲了深度学习最新的成就,让我们来看一下目前的 AI 尚没有触及到的一些能力。比如在医学方面,我们还可以进行更多的影响分析。比如深度学习方面我们要进行更深入的挖掘,因为机器本身会有不同的解决方案,在实际生活中是不能够去实施的。我觉得有些核心的功能方面,我们确实现在还没有触及到。这些是机器能够做到的,但是我们还没有挖掘出来。

5b0bc42540269fc9337cf50f8a1426f823064fa5

我们希望机器能够建立一些样本,能够使得我们系统运行,最终机器会得到学习,以及进行一些预测。我们希望可以使得机器像人一样的有效地运行,它们能够进行规划,进行反映。

33348a7b7948ceecc0f0f2a7df27cbf111c49427

最后我想做一下总结,我觉得监督学习和强化学习会变得更加完善,通过自我监督的学习,但不会被替代。这点已经引起了很多人的兴趣,就是接下来几年还会持续的发展。我相信这也会使得我们进行更多的尝试。

接下来我相信我们会不断的进行演变,而且我们也要来朝着可微分的智能学习的方向持续的发展,这就需要我们来进行对抗性训练更多的研究。当然了,还会出现更多的有关深度学习的变革,比如说包括了有一些多渠道的发展或者是复杂的架构,而且会出现更多的理论。

bb6616f423f34847942c3a19dd13ff2719a6e3e6

技术的趋势是这样的,很显然监督会不断减少,或者不断弱化,出现无监督的Feature Learning,有监督的Fine-Turning。这就使得我们出现一些新的理论,我相信之后应该有多维度的可能性。我们会发现出现一些新的框架,包括了一些动态的影像,而且我们诠释的能力会不断的提升,我们也会不断地开源。另外,这也使得我们需要不断地升级硬件,以便使得用户的需求能够得到专业化的处理。


原文发布时间为:2018-04-26

本文来自云栖社区合作伙伴新智元,了解相关信息可以关注“AI_era”。

原文链接:LeCun最新演讲:深度学习大革命来了,可微分编程潜力巨大

相关文章
|
1月前
|
机器学习/深度学习 SQL 自然语言处理
深度学习之编程错误自动修复
基于深度学习的编程错误自动修复(Automated Code Repair Using Deep Learning)是一种利用深度学习技术自动检测、定位并修复代码中的错误的技术。它旨在减少开发者手动调试和修复代码的时间,并提高代码的质量和可靠性。
42 3
|
2月前
|
机器学习/深度学习 数据挖掘 PyTorch
🎓PyTorch深度学习入门课:编程小白也能玩转的高级数据分析术
踏入深度学习领域,即使是编程新手也能借助PyTorch这一强大工具,轻松解锁高级数据分析。PyTorch以简洁的API、动态计算图及灵活性著称,成为众多学者与工程师的首选。本文将带你从零开始,通过环境搭建、构建基础神经网络到进阶数据分析应用,逐步掌握PyTorch的核心技能。从安装配置到编写简单张量运算,再到实现神经网络模型,最后应用于图像分类等复杂任务,每个环节都配有示例代码,助你快速上手。实践出真知,不断尝试和调试将使你更深入地理解这些概念,开启深度学习之旅。
35 1
|
6月前
|
机器学习/深度学习 数据可视化 数据处理
【专栏】随着技术进步,深度学习在图像识别的潜力将持续挖掘,为各领域创新提供支持
【4月更文挑战第27天】本文探讨了深度学习在图像识别的应用,包括人脸识别、物体识别、医学图像分析、图像分类与标注及AR/VR中的角色。同时,指出了数据标注、模型复杂性、小样本学习、安全性及模型解释性等挑战。未来发展趋势涉及多模态融合、模型压缩、自监督学习、可解释性及跨领域应用。随着技术进步,深度学习在图像识别的潜力将持续挖掘,为各领域创新提供支持。
90 4
|
2月前
|
机器学习/深度学习 人工智能 TensorFlow
人工智能浪潮下的编程实践:从Python到深度学习的探索之旅
【9月更文挑战第6天】 在人工智能的黄金时代,编程不仅仅是一种技术操作,它成为了连接人类思维与机器智能的桥梁。本文将通过一次从Python基础入门到构建深度学习模型的实践之旅,揭示编程在AI领域的魅力和重要性。我们将探索如何通过代码示例简化复杂概念,以及如何利用编程技能解决实际问题。这不仅是一次技术的学习过程,更是对人工智能未来趋势的思考和预见。
|
3月前
|
机器学习/深度学习 Java TensorFlow
深度学习中的图像识别:从理论到实践Java中的多线程编程入门指南
【8月更文挑战第29天】本文将深入探讨深度学习在图像识别领域的应用,从基础理论到实际应用案例,带领读者一步步理解如何利用深度学习技术进行图像识别。我们将通过一个简单的代码示例,展示如何使用Python和TensorFlow库实现一个基本的图像识别模型。无论你是初学者还是有一定经验的开发者,都能从中获得启发和学习。 【8月更文挑战第29天】在Java世界里,线程是程序执行的最小单元,而多线程则是提高程序效率和响应性的关键武器。本文将深入浅出地引导你理解Java多线程的核心概念、创建方法以及同步机制,帮助你解锁并发编程的大门。
|
5月前
|
机器学习/深度学习 搜索推荐 TensorFlow
深度学习在医学影像诊断中的应用正在逐渐展现出巨大的潜力
深度学习在医学影像诊断中的应用正在逐渐展现出巨大的潜力
|
6月前
|
机器学习/深度学习 PyTorch 算法框架/工具
PyTorch深度学习基础之Reduction归约和自动微分操作讲解及实战(附源码 超详细必看)
PyTorch深度学习基础之Reduction归约和自动微分操作讲解及实战(附源码 超详细必看)
117 0
|
机器学习/深度学习 人工智能 自然语言处理
深度学习十年后是撞墙了吗?Hinton、LeCun、李飞飞可不这么认为
深度学习十年后是撞墙了吗?Hinton、LeCun、李飞飞可不这么认为
|
机器学习/深度学习 人工智能 自然语言处理
Yann LeCun深度学习公开课4万字笔记,125页干货都在这了
Yann LeCun深度学习公开课4万字笔记,125页干货都在这了
140 0
|
机器学习/深度学习 存储 关系型数据库
【吴恩达课后编程作业】第三周作业 (附答案、代码)隐藏层神经网络 神经网络、深度学习、机器学习
【吴恩达课后编程作业】第三周作业 (附答案、代码)隐藏层神经网络 神经网络、深度学习、机器学习
436 0
【吴恩达课后编程作业】第三周作业 (附答案、代码)隐藏层神经网络 神经网络、深度学习、机器学习

热门文章

最新文章

下一篇
无影云桌面