Yoshua:深度学习AI迈向人类水平的挑战

简介:

CCF YOCSEF学术委员会主席唐杰和清华大学计算机系老师崔鹏共同主持讲座。讲座现场座无虚席,很多同学提前1个半小时就到现场去占座。

78d6f9ef5bbaf322fd9298e75d35cb5ef6c8f643

在本次讲座中,Yoshua教授介绍说目前的人工智能距离人类水平仍然十分遥远,当前人工智能在工业应用的成果主要是基于监督学习方法。人工智能仍然面临巨大挑战,即无法像人类一样自主理解外界、与环境交流。Yoshua深度探讨了深度学习模型的具体内容,如何实现对抽象特征的多层次学习,如何更好地进行表示学习,使用判别器优化信息间的独立性、相关性和熵,BabyAI框架等话题。

2d7b5620b3d703661903b31f449e1ef628793e09

他于2017年发表的论文《The Consciousness Prior》,里面提到与完整的状态相比,有意识的思想是非常低维度的对象,无意识的大脑=类似于基于规则的系统中的句子或规则,但它们具有意想不到的预测价值或有用性。

cf17d78ac2d84ad525db6d49b33e0b3727d433bc

论抽象与注意力的关系

 ●  注意力可以集中在大集合中的一些元素上
 ●  软关注允许通过基于梯度的优化来训练此过程backprop

 ●  与稀疏自动编码器不同:控制器有条件地选择焦点

d27d5b62341461b022bc27483df81f905bf925ce

关于认知的 system1 和 system2

两个系统(和认知任务的类别):

 ●  系统1:直观、快速的启发式,无意识的、非语言的,当前的深度学习能够做得很好。

 ●  系统2:缓慢的、有逻辑和顺序的,有意识的经典的符号AI试图做的事情

16cde2d77a0f881f23c55efa0f6d776937c5a4a0

教授提到一个很有意思的假设:外来语言理解:思想实验。

他让大家想象一下,你自己正在接近另一个星球并观察外星人相互交流所交换的信息与地球不同,它们的通信信道噪声很大,但是在地球上,带宽是昂贵的,最好的通信方式是最大限度地压缩消息,从而导致实际交换的随机比特序列。如果我们只观察压缩的消息,我们就无法理解外来语言。

那么我们怎样才能学会理解外星语言?

我们需要进行地面语言学习:我们需要观察外星人与他们的信息共同做些什么,试图破译他们的意图,背景等。为此,我们需要建立一个“外星世界模型”,它可以捕捉到他们行为的因果结构,从而改变他们的环境。

2151215d337a10f7feb52e07ca823717954ddd69

教授问道我们应该先学习一个世界模型,然后再学习它的自然语言描述?还是AI应该共同学习语言和世界?并表示自己更倾向于后者。他说考虑受监督的ImageNet分类器的顶级表示,与无监督学习所学到的相比,它们往往更好,更容易学习。为什么?因为语言(此处为对象类别)为学习者提供了相关语义高级因素的线索,从中可以更容易地进行概括。你无法单纯从大量的语言文本本身来理解它,必须同时学习world model和语言。

cc16029b40654c0c5094a998d6e062963ae8ceea

教授还提到了关于iid假设的弱化,即假设测试数据来自与训练数据相同的分布太强,并且在实践中经常被违反,导致分布不均匀的泛化。并表示建议考虑宽松的假设:测试数据是在相同的因果动力学下生成的,但是来自不同的初始条件,通常不太可能服从同样的训练分布。

5381807011b4bbd80ee331481f86c3ab808596dd

讲座最后设置了半个小时左右的提问环节,Yoshua教授既专业又幽默地回答了大家的问题,现场气氛十分活跃。

5659a792d89d6f0b87db3da8243783f063bf7d08


原文发布时间为:2018-11-11
本文作者:AMiner
本文来自云栖社区合作伙伴“ 数据派THU”,了解相关信息可以关注“ 数据派THU”。
相关文章
|
机器学习/深度学习 人工智能 安全
探索AI的未来:从机器学习到深度学习
【10月更文挑战第28天】本文将带你走进AI的世界,从机器学习的基本概念到深度学习的复杂应用,我们将一起探索AI的未来。你将了解到AI如何改变我们的生活,以及它在未来可能带来的影响。无论你是AI专家还是初学者,这篇文章都将为你提供新的视角和思考。让我们一起探索AI的奥秘,看看它将如何塑造我们的未来。
364 3
|
6月前
|
机器学习/深度学习 人工智能 供应链
从概念到商业价值:AI、机器学习与深度学习全景指南
在这个科技飞速发展的时代🚀,人工智能正以惊人的速度渗透到我们的生活和工作中👀。但面对铺天盖地的AI术语和概念,很多人感到困惑不已😣。"AI"、"机器学习"、"深度学习"和"神经网络"到底有什么区别?它们如何相互关联?如何利用这些技术提升工作效率和创造价值?
|
4月前
|
机器学习/深度学习 人工智能 PyTorch
AI 基础知识从 0.2 到 0.3——构建你的第一个深度学习模型
本文以 MNIST 手写数字识别为切入点,介绍了深度学习的基本原理与实现流程,帮助读者建立起对神经网络建模过程的系统性理解。
599 15
AI 基础知识从 0.2 到 0.3——构建你的第一个深度学习模型
|
4月前
|
机器学习/深度学习 人工智能 自然语言处理
AI 基础知识从 0.3 到 0.4——如何选对深度学习模型?
本系列文章从机器学习基础出发,逐步深入至深度学习与Transformer模型,探讨AI关键技术原理及应用。内容涵盖模型架构解析、典型模型对比、预训练与微调策略,并结合Hugging Face平台进行实战演示,适合初学者与开发者系统学习AI核心知识。
446 15
|
9月前
|
人工智能 运维 资源调度
AI 赋能混合云运维:告别手工操作,迈向智能自愈!
AI 赋能混合云运维:告别手工操作,迈向智能自愈!
476 85
|
机器学习/深度学习 数据采集 人工智能
AI赋能教育:深度学习在个性化学习系统中的应用
【10月更文挑战第26天】随着人工智能的发展,深度学习技术正逐步应用于教育领域,特别是个性化学习系统中。通过分析学生的学习数据,深度学习模型能够精准预测学生的学习表现,并为其推荐合适的学习资源和规划学习路径,从而提供更加高效、有趣和个性化的学习体验。
681 9
|
7月前
|
机器学习/深度学习 人工智能 运维
AI“捕风捉影”:深度学习如何让网络事件检测更智能?
AI“捕风捉影”:深度学习如何让网络事件检测更智能?
260 8
|
8月前
|
存储 人工智能 NoSQL
通过MongoDB Atlas 实现语义搜索与 RAG——迈向AI的搜索机制
MongoDB Atlas 的向量搜索功能为语义搜索和 RAG 提供了一个高效的数据库管理平台。在这个全新的应用场景下,Atlas 的向量检索能力支持开发者实现高效的知识检索和增强型生成应用,使其在智能客服、知识问答、个性化推荐等场景中大放异彩。结合生成式模型的 RAG 应用,MongoDB Atlas 提供了从数据存储到智能生成的完整解决方案,展现出其在现代应用中的巨大潜力。希望本文能够帮助大家更好地理解 MongoDB Atlas 的语义搜索功能和 RAG 的实际应用。 只有锻炼思维才能可持续地解决问题,只有思维才是真正值得学习和分享的核心要素。如果这篇博客能给您带来一点
通过MongoDB Atlas 实现语义搜索与 RAG——迈向AI的搜索机制
|
11月前
|
机器学习/深度学习 人工智能 自然语言处理
揭秘AI:深度学习的奥秘与实践
本文将深入浅出地探讨人工智能中的一个重要分支——深度学习。我们将从基础概念出发,逐步揭示深度学习的原理和工作机制。通过生动的比喻和实际代码示例,本文旨在帮助初学者理解并应用深度学习技术,开启AI之旅。
|
机器学习/深度学习 人工智能 算法
AI在医疗:深度学习在医学影像诊断中的最新进展
【10月更文挑战第27天】本文探讨了深度学习技术在医学影像诊断中的最新进展,特别是在卷积神经网络(CNN)的应用。文章介绍了深度学习在识别肿瘤、病变等方面的优势,并提供了一个简单的Python代码示例,展示如何准备医学影像数据集。同时强调了数据隐私和伦理的重要性,展望了AI在医疗领域的未来前景。
531 2

热门文章

最新文章