DeepMind最新论文:人工智能可以从旧概念中创造新概念

简介:

约2500年前,一个美索不达米亚的商人使用陶器、木制品和簧片作为流通货币,这改变了人类经济的发展历史。后来,美索不达米亚的商人又使用“算盘”来记录的他们商品,调整财政政策,这促成了经济的蓬勃发展。


在这些灵感乍现的时候恰恰折射出了人类具有惊人的能力:能够整合现有的概念,并构想出一些全新的概念许多不为人知的发明家曾不得不考虑他们想要解决的问题是什么,可能制造出怎样的装置以及要思考建立这些装置所需要的原材料是什么,例如,粘土可以通过模具压成平板,簧片可以充当计数器。这些物体都具有相似性、但又是独特的,但是如果以某种全新的方式将它们融合在一起,它们就可能形成一些革命性的东西。

donkey_8bacb1c1-9ec4-4257-80b6-a1b22f712


组合性的思想在人类的创造力、想象力和基于语言的沟通等能力中处于核心的位置。有了少量的基本概念,人类能够创造出大量全新的概念——我们从具体到一般的示例中,以新颖的方式重组层次结构的不同部分,很自然地做到这一点。


但是,人类如此自然就能做到的事情,对于人工智能却是一个挑战。


而在谷歌子公司DeepMind的最新论文中,他们提出了一个新的理论来解决这个问题:一种新的神经网络——符号-概念关联网络——能够通过模仿人类的视觉和文字的获取方式来学习基于视觉的概念层次,并能够想象出由语言指令诱导的新概念。


概念层次(Concept Hierarchy)是指将大量的概念用层次化的方法组织起来,使得子概念所包含的意义比原先更加特殊,但又可以被其父概念所概括。


DeepMind的方法归纳如下:


符号-概念关联网络模型的视觉世界可能与几个月大的婴儿体验的视觉世界相同。在刚出生的前几个月里,婴儿的眼睛不能够集中观察超过手臂长度的物体,这段时间里,婴儿基本上是通过移动和旋转眼前的物体,观察进入视线中的对象。


为了模拟这个过程,DeepMind实验室模拟的三维世界使用了该模型,在这里,它就像在床上的婴儿一样,床不能移动,但是能够通过旋转并观察到在不同颜色背景下的三个不同物体(帽子,手提箱或冰棍)之一。像婴儿的视觉系统一样,该模型学到了视觉世界的基本结构以及如何用可解释的视觉“元素”表示不同的对象。例如,当观察一颗苹果时,该模型将学会如何用颜色、形状、大小、位置和光强度来表示它




一旦我们的模型能够根据可解释的视觉元素来理解世界,我们就进入了学习过程的命名阶段——这相当于婴儿的单词学习阶段,在这个阶段,成年人开始为不同的视觉对象提供符号性的词汇标签。例如,在这个阶段,父母可能会指着一颗苹果对孩子说:“这是一颗‘苹果’”。与这个过程相似,在基本的语言输入下,符号-概念关联网络的视觉体验会被增强,所以,一张描绘有“黄色墙壁上悬挂着一个红色手提箱”的图像,可以标签化为“红色手提箱,黄色墙壁”。


符号-概念关联网络在前一阶段学到的视觉元素的基础上进一步学习新概念的意义。例如,一个苹果的概念可能是以其颜色、形状和大小来指定,与此同时,其他的视觉元素如位置、光照强度则应被正确地识别出来与苹果的概念无关。


这个命名过程可以用于学习概念层次中的视觉概念,也可以使用同样的过程教模型理解“and”、“ignore”,“in common”等概念重组操作符的意义,重要的是,这只需要少量的样例即可达到目标。l例如,可以给符号-概念关联网络输入一张标有符号指令“golden delicious IS yellow AND apple”的“golden delicious”苹果的图片,它就可能学会“and”的意义。


一旦符号-概念关联网络学会了词汇的概念,学会了通过符号指令操纵它们的方式,开发者就可以通过口头指令使其将熟悉的概念重组成新概念,而不需要更多的图片作为输入样例。


通过这些指令,符号-概念关联网络可以想象出大量新颖的视觉概念,如苹果的颜色(“蓝色苹果”意味着“蓝色”和“苹果”两种属性)或苹果的种类。

donkey_8c949fcf-afe0-445f-809e-1cfc72201


图丨符号-概念关联网络通过语言指令遍历概念层次,从像“红色地板的蓝色房间有一个白色手提箱”这样的具体概念到更一般的概念“手提箱”,然后再回到一个更加具体的概念“一个有粉色地板的黄色房间有一个绿色手提箱”。在每一次遍历过程中,都要求符号-概念关联网络想象对应的概念。最后,开发人员要求符号-概念关联网络理解“西装”这个词的概念,虽然它从来没有见过西装,但是它却能够想象出西装的大致样子。


这项工作不同于先前的工作: 这项工作完全基于感官数据并能够从极少的样例(图片-单词对)中学习。深度学习虽然能学习概念,但需要成千上万张图片样例。


符号-概念关联网络主要从无监督的观察中学习视觉元素和抽象的概念;对于标签化的数据,仅仅需要5个样例就可能学会一个概念。一旦训练完成,该网络能够产生与特定图像相对应的不同概念,也能够想象与特定概念相对应的对象,即使之前它并没有接触过这些概念。



图丨符号-概念关联网络想象的“白色手提箱”的可能样子;右图:从“橙色地板的粉色房间中有一个青色帽子”的图像中产生的概念。


利用符号指令,重组已有概念并形成新概念的能力使机器能够理解像“宇宙”、“人文主义”、“经济学”这样的抽象概念,这是一种惊人的能力。尽管DeepMind的算法还有很长一段路要走,但是这项工作很大程度上证明了算法能够以无监督的方式学习,并能够思考类似于人类使用的那些抽象概念


原文发布时间为:2017-09-13

本文来自云栖社区合作伙伴极市网,了解相关信息可以关注极市网。

相关文章
|
1月前
|
机器学习/深度学习 人工智能 算法
【AAAI 2024】再创佳绩!阿里云人工智能平台PAI多篇论文入选
阿里云人工智能平台PAI发表的多篇论文在AAAI-2024上正式亮相发表。AAAI是由国际人工智能促进协会主办的年会,是人工智能领域中历史最悠久、涵盖内容最广泛的国际顶级学术会议之一,也是中国计算机学会(CCF)推荐的A类国际学术会议。论文成果是阿里云与浙江大学、华南理工大学联合培养项目等共同研发,深耕以通用人工智能(AGI)为目标的一系列基础科学与工程问题,包括多模态理解模型、小样本类增量学习、深度表格学习和文档版面此次入选意味着阿里云人工智能平台PAI自研的深度学习算法达到了全球业界先进水平,获得了国际学者的认可,展现了阿里云人工智能技术创新在国际上的竞争力。
|
4月前
|
机器学习/深度学习 人工智能 自然语言处理
人工智能基本概念和原理
人工智能基本概念和原理
146 1
|
6月前
|
机器学习/深度学习 人工智能 自然语言处理
人工智能的概念、分类与实现方法
什么是人工智能 人工智能 又被称为机器智能,是一种综合计算机科学、统计学、语言学等多种学科,使机器 模仿、展现 人类智能的 技术。 说到人工智能我们不得不提到图灵测试,那么什么是图灵测试呢? 计算机科学家 艾伦·图灵 在 1950 年发表了一篇论文,文中提出了一项思想实验:我们委托一名人类测试员,使用测试对象能够理解的语言,分别和身处密室中的一台机器、一名人类自由地进行对话。假如经过若干轮对话后,测试员依然无法分辨出谁是机器、谁是人类,则说明该机器通过测试,是具有智能的。 人工智能的应用也可分为四大主要组成部分: 计算机视觉:辨识图像的形状、颜色、含义; 自然语言处理:理解人类的自然语言
150 0
|
7月前
|
机器学习/深度学习 人工智能 自然语言处理
9月人工智能论文和项目推荐
因为LLM的火爆,所以最近的论文都是和LLM相关的
102 0
|
3月前
|
机器学习/深度学习 人工智能 边缘计算
【论文速递】9位院士Science88页长文:人工智能的进展、挑战与未来
【论文速递】9位院士Science88页长文:人工智能的进展、挑战与未来
|
27天前
|
机器学习/深度学习 人工智能 自然语言处理
【人工智能技术专题】「入门到精通系列教程」零基础带你进军人工智能领域的全流程技术体系和实战指南(NLP自然语言处理概念介绍)
【人工智能技术专题】「入门到精通系列教程」零基础带你进军人工智能领域的全流程技术体系和实战指南(NLP自然语言处理概念介绍)
48 0
|
6月前
|
机器学习/深度学习 人工智能 自然语言处理
人工智能基础知识:介绍人工智能的历史,基本概念和应用领域
人工智能基础知识:介绍人工智能的历史,基本概念和应用领域
363 0
|
4月前
|
机器学习/深度学习 人工智能 自然语言处理
阿里云人工智能平台PAI多篇论文入选EMNLP 2023
近期,阿里云人工智能平台PAI主导的多篇论文在EMNLP2023上入选。EMNLP是人工智能自然语言处理领域的顶级国际会议,聚焦于自然语言处理技术在各个应用场景的学术研究,尤其重视自然语言处理的实证研究。该会议曾推动了预训练语言模型、文本挖掘、对话系统、机器翻译等自然语言处理领域的核心创新,在学术和工业界都有巨大的影响力。此次入选意味着阿里云人工智能平台PAI自研的自然语言处理算法达到了全球业界先进水平,获得了国际学者的认可,展现了中国人工智能技术创新在国际上的竞争力。
|
5月前
|
人工智能 编解码 测试技术
10月发布的5篇人工智能论文推荐
10月发布的5篇人工智能论文推荐
61 1

热门文章

最新文章