Yoshua:深度学习AI迈向人类水平的挑战

简介:

CCF YOCSEF学术委员会主席唐杰和清华大学计算机系老师崔鹏共同主持讲座。讲座现场座无虚席,很多同学提前1个半小时就到现场去占座。

78d6f9ef5bbaf322fd9298e75d35cb5ef6c8f643

在本次讲座中,Yoshua教授介绍说目前的人工智能距离人类水平仍然十分遥远,当前人工智能在工业应用的成果主要是基于监督学习方法。人工智能仍然面临巨大挑战,即无法像人类一样自主理解外界、与环境交流。Yoshua深度探讨了深度学习模型的具体内容,如何实现对抽象特征的多层次学习,如何更好地进行表示学习,使用判别器优化信息间的独立性、相关性和熵,BabyAI框架等话题。

2d7b5620b3d703661903b31f449e1ef628793e09

他于2017年发表的论文《The Consciousness Prior》,里面提到与完整的状态相比,有意识的思想是非常低维度的对象,无意识的大脑=类似于基于规则的系统中的句子或规则,但它们具有意想不到的预测价值或有用性。

cf17d78ac2d84ad525db6d49b33e0b3727d433bc

论抽象与注意力的关系

 ●  注意力可以集中在大集合中的一些元素上
 ●  软关注允许通过基于梯度的优化来训练此过程backprop

 ●  与稀疏自动编码器不同:控制器有条件地选择焦点

d27d5b62341461b022bc27483df81f905bf925ce

关于认知的 system1 和 system2

两个系统(和认知任务的类别):

 ●  系统1:直观、快速的启发式,无意识的、非语言的,当前的深度学习能够做得很好。

 ●  系统2:缓慢的、有逻辑和顺序的,有意识的经典的符号AI试图做的事情

16cde2d77a0f881f23c55efa0f6d776937c5a4a0

教授提到一个很有意思的假设:外来语言理解:思想实验。

他让大家想象一下,你自己正在接近另一个星球并观察外星人相互交流所交换的信息与地球不同,它们的通信信道噪声很大,但是在地球上,带宽是昂贵的,最好的通信方式是最大限度地压缩消息,从而导致实际交换的随机比特序列。如果我们只观察压缩的消息,我们就无法理解外来语言。

那么我们怎样才能学会理解外星语言?

我们需要进行地面语言学习:我们需要观察外星人与他们的信息共同做些什么,试图破译他们的意图,背景等。为此,我们需要建立一个“外星世界模型”,它可以捕捉到他们行为的因果结构,从而改变他们的环境。

2151215d337a10f7feb52e07ca823717954ddd69

教授问道我们应该先学习一个世界模型,然后再学习它的自然语言描述?还是AI应该共同学习语言和世界?并表示自己更倾向于后者。他说考虑受监督的ImageNet分类器的顶级表示,与无监督学习所学到的相比,它们往往更好,更容易学习。为什么?因为语言(此处为对象类别)为学习者提供了相关语义高级因素的线索,从中可以更容易地进行概括。你无法单纯从大量的语言文本本身来理解它,必须同时学习world model和语言。

cc16029b40654c0c5094a998d6e062963ae8ceea

教授还提到了关于iid假设的弱化,即假设测试数据来自与训练数据相同的分布太强,并且在实践中经常被违反,导致分布不均匀的泛化。并表示建议考虑宽松的假设:测试数据是在相同的因果动力学下生成的,但是来自不同的初始条件,通常不太可能服从同样的训练分布。

5381807011b4bbd80ee331481f86c3ab808596dd

讲座最后设置了半个小时左右的提问环节,Yoshua教授既专业又幽默地回答了大家的问题,现场气氛十分活跃。

5659a792d89d6f0b87db3da8243783f063bf7d08


原文发布时间为:2018-11-11
本文作者:AMiner
本文来自云栖社区合作伙伴“ 数据派THU”,了解相关信息可以关注“ 数据派THU”。
相关文章
|
1月前
|
机器学习/深度学习 人工智能 安全
探索AI的未来:从机器学习到深度学习
【10月更文挑战第28天】本文将带你走进AI的世界,从机器学习的基本概念到深度学习的复杂应用,我们将一起探索AI的未来。你将了解到AI如何改变我们的生活,以及它在未来可能带来的影响。无论你是AI专家还是初学者,这篇文章都将为你提供新的视角和思考。让我们一起探索AI的奥秘,看看它将如何塑造我们的未来。
72 3
|
1月前
|
机器学习/深度学习 数据采集 人工智能
AI赋能教育:深度学习在个性化学习系统中的应用
【10月更文挑战第26天】随着人工智能的发展,深度学习技术正逐步应用于教育领域,特别是个性化学习系统中。通过分析学生的学习数据,深度学习模型能够精准预测学生的学习表现,并为其推荐合适的学习资源和规划学习路径,从而提供更加高效、有趣和个性化的学习体验。
101 9
|
12天前
|
机器学习/深度学习 人工智能 自然语言处理
揭秘AI:深度学习的奥秘与实践
本文将深入浅出地探讨人工智能中的一个重要分支——深度学习。我们将从基础概念出发,逐步揭示深度学习的原理和工作机制。通过生动的比喻和实际代码示例,本文旨在帮助初学者理解并应用深度学习技术,开启AI之旅。
|
1月前
|
机器学习/深度学习 人工智能 算法
AI在医疗:深度学习在医学影像诊断中的最新进展
【10月更文挑战第27天】本文探讨了深度学习技术在医学影像诊断中的最新进展,特别是在卷积神经网络(CNN)的应用。文章介绍了深度学习在识别肿瘤、病变等方面的优势,并提供了一个简单的Python代码示例,展示如何准备医学影像数据集。同时强调了数据隐私和伦理的重要性,展望了AI在医疗领域的未来前景。
65 2
|
17天前
|
机器学习/深度学习 人工智能 自然语言处理
揭秘深度学习中的自注意力机制及其在现代AI应用中的革新
揭秘深度学习中的自注意力机制及其在现代AI应用中的革新
|
1月前
|
安全 搜索推荐 机器学习/深度学习
AI赋能教育:深度学习在个性化学习系统中的应用
【10月更文挑战第26天】在人工智能的推动下,个性化学习系统逐渐成为教育领域的重要趋势。深度学习作为AI的核心技术,在构建个性化学习系统中发挥关键作用。本文探讨了深度学习在个性化推荐系统、智能辅导系统和学习行为分析中的应用,并提供了代码示例,展示了如何使用Keras构建模型预测学生对课程的兴趣。尽管面临数据隐私和模型可解释性等挑战,深度学习仍有望为教育带来更个性化和高效的学习体验。
103 0
|
1月前
|
机器学习/深度学习 数据采集 人工智能
AI在医疗:深度学习在医学影像诊断中的最新进展
【10月更文挑战第26天】近年来,深度学习技术在医学影像诊断中的应用日益广泛,通过训练大量医学影像数据,实现对疾病的准确诊断。例如,卷积神经网络(CNN)已成功用于识别肺癌、乳腺癌等疾病。深度学习不仅提高了诊断准确性,还缩短了诊断时间,提升了患者体验。然而,数据隐私、数据共享和算法透明性等问题仍需解决。未来,AI将在医学影像诊断中发挥更大作用,成为医生的得力助手。
109 0
|
2月前
|
机器学习/深度学习 数据采集 人工智能
数据驱动的AI技术:如何通过深度学习提升图像识别精度
【10月更文挑战第18天】 数据驱动的AI技术:如何通过深度学习提升图像识别精度
60 0
|
2月前
|
机器学习/深度学习 人工智能 数据可视化
深度学习之可解释人工智能(Explainable AI,XAI)
可解释人工智能(XAI)是一个旨在使AI决策过程透明和可理解的研究领域。随着AI和机器学习技术在多个行业中的应用变得越来越广泛,其决策过程的透明度和可解释性变得极其重要。
77 0
|
3月前
|
机器学习/深度学习 人工智能 自然语言处理
探索AI的未来:深度学习与自然语言处理的融合
【9月更文挑战第22天】本文旨在探讨AI技术中深度学习与自然语言处理的结合,以及它们如何共同推动未来技术的发展。我们将通过实例和代码示例,深入理解这两种技术如何相互作用,以及它们如何影响我们的生活和工作。
53 4