清华量子计算大师应明生独家专访:AI未来一定会以新的形式重生

简介:

近年来,人工智能和量子计算两大领域双双被人们寄予厚望,特别是被国人当成是“超英赶美”、弯道超车的两大历史机遇。量子计算机是指利用量子相干叠加原理,量子比特的独特属性使量子计算机在处理一些运算的时候速度更快,理论上具有超快的并行计算和模拟能力的计算机。量子计算机代表着突破被纳米层面限制的摩尔定律,意味着巨大的计算力潜能。曾有人打过一个比方:如果现在传统计算机的速度是自行车,量子计算机的速度就好比飞机。



计算力正是AI三大法宝之一。现有计算机已经能够支持AlphaGo这样的“围棋上帝”,如果我们用量子计算机进一步提高算力,是否“强人工智能”的出现也不那么遥远了?即使不谈这么遥远,量子计算机是否会大大加速AI领域最常用的CNN和RNN呢?


IBM上个月宣布其量子计算机突破16比特,中国科学院也在五月发布消息,世界上第一台超越早期经典计算机的光量子计算机诞生。目前,在量子计算领域进行的大多数研究都是建设量子计算硬件设施,而一旦量子计算机可以在市场上购买到,量子软件就会发挥关键性作用。”


 

近日,新智元独家专访了清华大学、中国科学院软件研究所、悉尼科技大学的应明生教授,他在量子计算和人工智能基础方面都有系统深入的研究。这是应明生教授首次接受媒体采访,他认为国内量子计算似乎很热闹,不在这个领域的人对量子计算有一些误解,因此他希望能借助本次采访对当下量子计算领域的发展作一些澄清。

 

应明生认为量子计算机是不是强人工智能的必要条件还不知道,但可能不是充分条件。实现所谓的“强人工智能”,恐怕速度不是唯一的制约因素。

 

人们希望发现比经典计算机算法更快的量子算法,应明生表示:这是一个很困难的问题。量子计算机是否能够更好地训练神经网络目前还没有得到很好的理解。他开玩笑道:“人类天天强迫机器“深度学习”,自己倒不一定愿意‘深度学习‘”。

 

应明生表示:“许多问题量子计算机会比经典计算机做得更好。但是,我们也已经知道对于某些问题,量子计算机并没有优势。”应明生认为,除了量子机器学习,其它量子AI方面没有任何实质进展。

 

关于量子计算在推理方面是否比经典计算有优势?当然,您可能会说机器学习就是一种归纳推理,但演绎推理呢?人类历史上如果只有培根,没有亚里斯多德是不可想象的事情。因此,Logical AI未来一定会以新的形式重生。

 

至于量子编程难在哪里?应明生表示,量子编程并不是只需要将现有的编程方法简单移植过来就可以了。要思考程序的控制流如果是量子的,递归将是怎样的?量子纠缠在并行、分布式程序中起什么作用?量子电路优化除了一个量子位的情形已经知道怎么做,多个量子位的情形很多年来并无实质性的进展。

 

关于量子计算机逻辑程序设计,早在九十年代就定义了一些简单的量子程序设计语言。真正认真的研究是2010年以后的事情,特别是微软发布了量子程序设计语言LIQUi|>。另外两个影响比较大的语言是Peter Selinger组的Quipper及普林斯顿大学等单位设计实现的Scaffold。

 

应明生还着重强调:做量子计算只靠物理学家的努力是明显不够的,计算机科学家不参与是很难做好的。在美国、欧洲,从量子计算机体系结构、量子算法与复杂性、量子程序设计都有人在认真研究。而且物理学家与计算机科学家经常在一个屋檐下讨论。

 

但国内从计算机科学的角度研究量子计算基本上是空白。这对于我国在量子计算领域的竞争是明显不利的。从未来产业来说,也许最终量子软件的市场甚至比硬件还要大。

 

目前国外大公司如微软、谷歌、英特尔和IBM投入远超数千万美元的资源,国内大公司还没有积极参与量子计算研究,我国产业界目前还缺乏这样的人才。

 

关于量子计算的挑战,应明生表示有太多,实现量子计算主要的一个困难是量子态退相干引起的错误。1997年理论物理学家Alexei Kitaev提出拓扑量子计算能够避免这样的错误,这个想法是神来之笔。之所以叫拓扑量子计算是因为用到拓扑学性质。

 

最后应明生表示:个人觉得量子计算可能是计算机科学很长一段时间内最具革命性的事情,特别希望年轻一代能够抓住这个机会。现在,量子计算给了我们一个难得的机会,如果我们错过了这个机会,几十年后再翻开教科书,可能还是没有太多我们的贡献。


以下是采访全文。

 

人类天天强迫机器“深度学习”,自己倒不一定愿意“深度学习”


“量子计算机是不是强人工智能的必要条件还不知道,但可能不是充分条件。实现所谓的“强人工智能”,恐怕速度不是唯一的制约因素。”

 

【新智元】新版本的AlphaGo在乌镇用TPU 2强大的算力和强化学习等算法打败柯洁。量子计算机体系中,还有会TPU和GPU这种架构嘛?

 

【应明生】 谢谢您的邀请。 我以前没有被采访的经验。接受您采访的心理与一个上了年纪的人偶尔想穿一件新衣服是一样的。不过现在有些后悔,因为您问的第一个问题我就回答不好,很狼狈。媒体报道量子计算新闻时总是谈在机器学习中的应用,而且量子机器学习也确实是最近很热闹的一个研究方向,但这不是我的主要研究领域,我知识面有限,只能就我所看到的文献谈一点看法。量子计算与神经网络结合,早在大约十年前一个不是很出名的刊物就出版过一个special issue。但比较严肃的研究是最近几年的事情,我觉得量子计算机是否能够更好地训练神经网络目前还没有得到很好的理解;至于量子计算是否能够更好地处理图形、图像,则几乎没有得到认真的研究。另外,即使理论上有很好的结果,离实际应用也还需要很长的时间。因此,将来是否会有量子的TPU和GPU, 我不知道。

 

【新智元】在量子计算机中深度学习算法或者机器学习算法会有什么样的发展?

 

【应明生】 前面已经说过了,最近量子机器学习很热闹。与不是这个领域的人们想象的可能不一样,其实它包括两个方向:其一是机器学习的方法在量子物理中的应用,也就是说学习的对象将是量子世界中的。大家都知道,大数据的一个重要的来源是科学数量。那么,机器学习能否帮助处理来自量子物理中的数据?当然包括深度学习在内的机器学习算法应该是有用的,但又不能直接用,因为只能通过测量获得量子系统的部分信息,而且测量后状态则改变了,要预测其行为就更加困难。这就需要发展适用于学习量子世界中的对象的特有方法。

 

另一个方面是,学习的任务与通常机器学习的任务完全一样,但希望发现比经典计算机算法更快的量子算法。这是一个很困难的领域,虽然已经有一些很好的工作,比如SethLloyd等的主成分分析(PCA)量子算法;微软的一些学者尝试做量子Boltzmann机、量子深度学习等。但这方面的工作还不够多,而且如何使用还需要认真研究。因此,把这方面的成果说得太大对于一个学科方向的健康发展未必是好事情。有兴趣的读者可以看一看ScottAaronson发表在2015年Nature Physics上的一篇评论性文章。

 

最近整个计算机界到处都在谈论机器学习、深度学习。我倒是觉得年轻人也许可以考虑做量子机器学习,因为这个领域刚刚起步,还有机会做出根本性的贡献。当然,进入这个领域除了机器学习方面的知识,还需要量子信息方面的知识。不过年轻的时候花几年时间做“深度学习”,而不急着发很多的文章也许是一件好事情。开个玩笑,人类是很有趣的,天天强迫机器“深度学习”,自己倒不一定愿意“深度学习”。

 

【新智元】目前量子计算机是否都属于图灵机范畴?

 

【应明生】 这要看您的“图灵机范畴”指的是什么。 量子计算的数学模型是80年代中期David Deustch定义的量子图灵机,它与经典图灵机的概念框架是一样的,但一个本质区别是其内部的状态变迁遵循的是量子力学规律,由幺正(unitay)变换刻画。

 

顺便说一件有趣的事情。计算机的冯.诺伊曼体系结构是众所周知的,而冯.诺伊曼也是量子力学数学基础的奠基人,但他没有想到量子计算机。图灵在很年轻的时候就读过量子力学,但他也没有直接定义量子图灵机。看来像冯.诺伊曼和图灵这样伟大的人也受到时代的约束。

 

除了量子机器学习,其它量子AI方面没有任何实质进展


“人类历史上如果只有培根,没有亚里斯多德是不可想象的事情。因此,Logical AI未来一定会以新的形式重生。”


【新智元】量子计算机一旦成功,其计算力的提升会给人工智能的发展带来什么样的影响?量子计算机是否是我们实现强人工智能的必备条件呢?

 

【应明生】 前面已经谈了量子计算与机器学习结合的事情。至于量子计算对整个人工智能的影响,人们可能有很高的期望。一个原因或许是几年前Google与NASA成立了量子人工智能实验室。另一个原因可能是恰好在时间点上人工智能与量子计算同时火起来了。实际上, 18年前IEEE Intelligent Systems就专门组织过这方面的讨论,其后不久IJCAI也请人做过量子计算的Tutorial,2010年AIJ曾经要我写过一个Field Review。我想说的是,科学的进展其实是很缓慢的。这么多年过去了,除了前面谈到的量子机器学习,量子人工智能的其他方面并没有见到任何实质性的进展。举一个例子,量子计算在推理方面是否比经典计算有优势?至今为止还没有看到严肃的研究。当然,您可能会说机器学习就是一种归纳推理,但演绎推理呢?人类历史上如果只有培根,没有亚里斯多德是不可想象的事情。因此,LogicalAI未来一定会以新的形式重生。而量子计算对Logical AI是否有帮助,现在还没有人认真研究过。

 

目前所知道的是,量子计算与经典计算相比,优势在速度。而实现所谓的“强人工智能”,恐怕速度不是唯一的制约因素。因此,量子计算机是不是强人工智能的必要条件我不知道,但可能不是充分条件。


我们为什么非要说“量子计算机超越现在的计算机”?


“在一件事情上做得更好与‘量子计算机超越现在的计算机’不是一回事。否则,现在AlphaGo打败了柯洁,我们就可以说人工智能超越人类了。”

 

【新智元】新智元曾经报道,在中科大“世界上第一台超越早期经典计算机的光量子计算机诞生” 。在您看来,量子计算机超过现在的计算机,还有哪些挑战,需要多久能实现?

 

【应明生】中科大在量子通讯与量子计算实验方面的研究成果是十分令人尊敬的。

 

您说“量子计算机超越现在的计算机”,但这样笼统地比较量子计算与经典计算其实不一定合适。当然,已经发现了一些量子算法,说明有许多问题量子计算机会比经典计算机做得更好。但是,我们也已经知道对于某些问题,量子计算机并没有优势。

 

我猜测您问这个问题是因为Google最近一直在谈”Quantum supremacy”【受访者注:请不要将这个词翻译成中文,因为目前看到的中文翻译都不一定恰当】。Google与IBM都计划在今年底或明天做出49、50个量子位的处理器。经过估算,这样的量子计算机已经有可能做某些现有计算机做不了的事情,Google选定演示的一个事情是Boson sampling。

 

但是,在一件事情上做得更好与“量子计算机超越现在的计算机”不是一回事。否则,现在AlphaGo打败了柯洁,我们就可以说人工智能超越人类了。

 

即使我们现在就有大型量子计算机,也很难说“量子计算机超越现在的计算机”。现有的计算机科学与技术从硬件到软件,是全世界IT行业多少人五、六十年的积累? 超越谈何容易?

 

我这样说并不是说量子计算没有前途。相反,我个人觉得量子计算可能是计算机科学很长一段时间内最具革命性的事情,特别希望年轻一代能够抓住这个机会。

 

我们为什么非要说“量子计算机超越现在的计算机”? 现有计算机刚出现的时候,人们也不知道有多少用处,现在五花八门的应用都是后来逐步想出来的,否则Watson怎么会说全世界只有5台计算机市场?计算机科学与人工智能不正是在想这些五花八门的应用中成长起来的吗?


未来量子软件产业甚至可能大于硬件,国内大公司和计算机领域参与不足


“做量子计算只靠物理学家的努力是明显不够的,计算机科学家不参与是很难做好的。”


【新智元】不少国家对量子计算机很重视,例如中国、美国、欧洲,也包括您所在的澳大利亚。从您的角度看来,国家之间的研究侧重点有没有不同?曾经在网上看到所谓“中国主攻量子通讯,美国主攻的量子计算”,您怎么看待?

 

【应明生】 我不知道有“中国主攻量子通讯,美国主攻量子计算”这种说法。大家都知道计算机是整个信息技术的核心。像中国这样的大国,不应该也决不会不做量子计算。实际上,在量子计算物理实验方面中国已经做出了一些非常出色的成果。

 

至于国家之间的研究侧重点不同,当然与政府管理部门的布局有关。但很大一个原因其实来自各国科学家的研究传统和积累。术业有专攻,你不能要求一个科学家昨天做量子通讯,今天就能做量子计算;今天用光学方法做量子计算,明天用超导,后天则用iontrap. 

 

有一件事情我想着重说一下。做量子计算只靠物理学家的努力是明显不够的,计算机科学家不参与是很难做好的。在美国、欧洲,从量子计算机体系结构、量子算法与复杂性、量子程序设计都有人在认真研究。而且物理学家与计算机科学家经常在一个屋檐下讨论。

 

但国内从计算机科学的角度研究量子计算基本上是空白。这对于我国在量子计算领域的竞争是明显不利的。从未来产业来说,也许最终量子软件的市场甚至比硬件还要大。从学科建设来说,翻开计算机科学各学科分支的教科书,我国学者提出的基本概念和思想太少了,原因在于六、七十年代这些学科分支兴起的时候,我国正处于文革中,科学家没能参与这些学科的早期创建。现在,量子计算给了我们一个难得的机会,如果我们错过了这个机会,几十年后再翻开教科书,可能还是没有太多我们的贡献。此外,人才培养也是极为重要的。就算中国做出的量子计算机比别的国家都好,如果没有量子软件工程师,恐怕也难说我们在这场竞争中取胜。而量子软件人才需要多学科的知识,因此培养起来不太容易。

 

我最近花了挺多的时间和精力在国内推到并组织队伍从计算机科学的角度研究量子计算,希望能够有一些成效。

  

 【新智元】大公司也做量子计算,微软,谷歌,英特尔和IBM 等公司都投入了数千万美元进行量子计算机研究,您怎么看待产业界和学术界这一领域各自的努力?这些大公司谁的量子计算实力更强?

 

【应明生】 微软,谷歌,英特尔和 IBM 等公司投入的可能不是数千万美元,而是大得多的资源。

 

我是做理论研究的,与产业界接触不多,因此对产业界了解也不深入。但总觉得量子计算最终的实用技术肯定是产业界为主的。目前国内大公司还没有积极参与量子计算研究,对于我们国家在这个领域的竞争应该是不利的。我想一个根本的原因是,微软、谷歌、英特尔、IBM拥有极为优秀的科学家(包括做基础科学研究的),但我国产业界目前还缺乏这样的人才。但现在国内已经有一些极具规模和实力的公司,我相信他们肯定会很快参与进来。

 

至于这些大公司谁的量子计算实力更强? 他们采用不同的技术路线,如超导、半导体、拓扑量子比特,也有startup公司用ion trap。但对于实验物理,我是外行,不敢妄加评价。 



如何做出量子计算机硬件是极大的挑战


“拓扑量子计算是避免量子态退相干错误的神来之笔”


【新智元】量子计算当前的最大挑战有哪些?拓扑量子计算最近比较受关注,去年下半年清华还成立了拓扑量子信息技术中心,拓扑量子计算是解决量子计算的什么问题呢?

 

【应明生】 量子计算的挑战实在太多。当然,如何做出量子计算机硬件是极大的挑战,这是目前物理学家正在努力做的事情。一旦有了量子计算机,如何用好它将是对于计算机科学家的巨大挑战。

 

清华成立了拓扑量子信息技术中心这是好事情,但我不太了解。

 

实现量子计算主要的一个困难是量子态退相干引起的错误。1997年理论物理学家Alexei Kitaev提出拓扑量子计算能够避免这样的错误,这个想法是神来之笔。之所以叫拓扑量子计算是因为用到拓扑学性质。  

 

【新智元】不久前“Nature论文描述了一台可编程小型量子计算机,由 5 个量子比特组成,这是全球首台可编程量子计算机"。但是我们也有报道IBM做出16个量子位的量子处理器。量子计算机的编程难度在于哪里?


【应明生】 IBM没有说他们的16/17量子位处理器不能编程吧?

 

至于量子编程难在哪里?我的一个朋友就跟我说,听起来量子编程只需要将现有的编程方法简单移植过来就可以了,也在考虑命令式、函数式程序设计语言。如果真是这样,那就省事了。遗憾的是,事情远没有这么简单。某种意义上说,程序设计语言是人与机器通讯的语言。量子程序设计语言联系的是人与量子计算机,人这一端并没有变(我没听说有什么“量子新人类”),不同的是机器那一端。因此,关于人这一端的一些想法仍然适用。难的是“经典的”人这一端到“量子的”机器那一端的转化。即使在概念层面,这也比经典编程更难理解,因为经典编程考虑的是“经典的”人到“经典的”机器之间的联系。举几个这些年我一直在考虑的问题作为例子。程序的控制流如果是量子的,递归将是怎样的?量子纠缠在并行、分布式程序中起什么作用?如果再往机器那一端走,经典电路的优化有一整套的方法,但量子电路除了一个量子位的情形已经知道怎么做,多个量子位的情形很多年来并无实质性的进展。



个人的研究兴趣及经历


 

“我们看到了一个有趣的事情:自动机的一些整体性质竟然本质上依赖于底层逻辑的分配律,而量子逻辑没有全局的分配律。”


【新智元】据之前网上包括清华官网的资料,我们了解到您的研究方向是量子计算和量子程序设计,可以具体介绍一下您的研究方向嘛?

 

【应明生】 我自己最近10年主要的研究兴趣在量子程序设计。目前国际上既有理论层面的研究,也有技术层面的研究。

 

理论方面,主要有函数式量子程序与命令式量子程序的研究。前者的理论是PeterSelinger等发展起来的;后者主要是我们帮助建立起来的,包括量子程序设计模型、量子程序分析与验证。值得一提的是,后者更多地涉及量子系统的本质特征。

 

但是,逻辑程序设计是否适用于量子计算,目前并不知道。这个问题应该与前面谈到的量子计算对LogicalAI是否有帮助的问题有关系。前一段时间有人发给我一篇试图做量子的逻辑程序的文章,明显是不成功的。

 

技术方面,早在九十年代就定义了一些简单的量子程序设计语言。真正认真的研究是2010年以后的事情,特别是微软发布了量子程序设计语言LIQUi|>。另外两个影响比较大的语言是PeterSelinger组的Quipper及普林斯顿大学等单位设计实现的Scaffold。最近,我们组也在多年理论研究的基础上设计实现一个量子程序设计环境,包括一个量子程序设计语言及其编译器、量子计算模拟器以及量子程序分析与验证工具。

 

【新智元】您为了建立量子计算的数学模型,独创性地提出并初步发展了基于量子逻辑的计算理论。可以介绍您在这方面的研究吗?

 

【应明生】首先,我在前面已经谈到了,量子计算的数学模型David Deutsch等在80年代中期就已经建立起来了,没我什么事。我试图理解的是其逻辑基础。其次,“独创性”是过誉之词,我不敢接受。具体来说,冯.诺伊曼等在30年代认识到量子世界遵循的不是布尔逻辑,因而提出了量子逻辑。我考虑的问题是:基于量子逻辑的自动机理论与基于布尔逻辑的自动机理论有什么本质的区别?我们看到了一个有趣的事情:自动机的一些整体性质(如不确定性自动机能用确定性自动机模拟)竟然本质上依赖于底层逻辑的分配律。而量子逻辑没有全局的分配律(只有局部性的)。

 

【新智元】可以说说,您当年是怎么从江西到清华进行研究的嘛?另外可以谈谈您早年怎么从数学转到量子计算的领域嘛?

 

【应明生】我唯一想说的是:我真正喜欢学术研究。但由于能力的限制,至今没能做出令自己满意的工作。


【新智元】后来您为什么选择跟澳大利亚的大学创建联合实验室,研究量子计算呢?

 

【应明生】 这个事情我想做一点说明。我们之前,University of Technology Sydney (UTS)并没有做量子计算的,但有一些做人工智能的朋友。因此,某种意义上说,我们在UTS是从零开始建立了一个现在有12位教师的研究中心。令我欣慰的是,我们这个研究中心在可实用于小型量子计算机的量子算法、量子计算复杂性、量子程序设计、量子机器学习、量子信息理论及安全、私密性等方面都有比较强的实力,特别是一些年轻人的工作在国际上颇有影响。我现在想的一个问题是如何与国内联合起来,对于中国发展量子计算理论及量子软件有所帮助。

 

就我个人来说,在澳洲这段时间最大的好处是有充分的时间和做研究所需要的“孤独”,可以思考一些自己想真正理解的问题。虽然没能做出令人满意的事情,但这个过程还是挺享受的。


文章转自新智元公众号,原文链接

相关文章
|
2月前
|
存储 人工智能 弹性计算
AI计算加速渗透、基础设施全面升级…云栖大会重磅发布全览
阿里云全面展示了全新升级后的AI Infra系列产品及能力。通过全栈优化,阿里云打造出一套稳定和高效的AI基础设施,连续训练有效时长大于99%,模型算力利用率提升20%以上。
245 27
|
1月前
|
机器学习/深度学习 存储 人工智能
AI与量子计算:推动计算科学的边界
【10月更文挑战第7天】AI与量子计算的融合,标志着计算科学进入了一个全新的时代。在这个时代里,计算能力的边界被不断拓宽,科技创新的速度不断加快。我们有理由相信,在未来的日子里,AI与量子计算将继续携手并进,共同推动计算科学向着更加智能、更加高效的方向发展。让我们期待这一天的到来,共同见证计算科学的无限可能。
|
16天前
|
人工智能 算法 搜索推荐
清华校友用AI破解162个高数定理,智能体LeanAgent攻克困扰陶哲轩难题!
清华校友开发的LeanAgent智能体在数学推理领域取得重大突破,成功证明了162个未被人类证明的高等数学定理,涵盖抽象代数、代数拓扑等领域。LeanAgent采用“持续学习”框架,通过课程学习、动态数据库和渐进式训练,显著提升了数学定理证明的能力,为数学研究和教育提供了新的思路和方法。
30 3
|
4月前
|
机器学习/深度学习 人工智能 分布式计算
探索操作系统的未来:量子计算与AI的融合
【7月更文挑战第4天】在数字化时代,操作系统作为连接用户与硬件的桥梁,其发展直接影响着计算机科学的进步。随着量子计算和人工智能技术的兴起,传统操作系统面临着前所未有的挑战和机遇。本文将探讨量子计算与AI技术如何推动操作系统的进化,以及这一进程对软件架构、安全性和性能优化等方面的影响。通过分析当前技术趋势和未来展望,文章旨在为读者提供一个关于操作系统未来发展的全面视角。
|
28天前
|
人工智能 边缘计算 监控
边缘AI计算技术应用-实训解决方案
《边缘AI计算技术应用-实训解决方案》提供完整的实训体系,面向高校和科研机构的AI人才培养需求。方案包括云原生AI平台、百度AIBOX边缘计算硬件,以及8门计算机视觉实训课程与2门大模型课程。AI平台支持大规模分布式训练、超参数搜索、标注及自动化数据管理等功能,显著提升AI训练与推理效率。硬件涵盖多规格AIBOX服务器,支持多种推理算法及灵活部署。课程涵盖从计算机视觉基础到大模型微调的完整路径,通过真实商业项目实操,帮助学员掌握前沿AI技术和产业应用。
46 2
|
4月前
|
机器学习/深度学习 人工智能 安全
探索操作系统的未来:量子计算与AI的融合
【7月更文挑战第26天】随着科技的不断进步,传统操作系统正面临着前所未有的挑战和机遇。本文将深入探讨操作系统在量子计算和人工智能融合趋势下的发展前景,分析这一变革如何重塑我们对数据处理、系统安全和用户体验的认知。文章旨在为读者提供一个关于未来操作系统可能走向的全面视角,同时引发对现有技术革新的思考。
|
2月前
|
存储 人工智能 弹性计算
AI计算加速渗透、基础设施全面升级…云栖大会重磅发布全览
AI计算加速渗透、基础设施全面升级…云栖大会重磅发布全览
|
3月前
|
机器学习/深度学习 人工智能 人机交互
ICML 2024:AI也会刷抖音!清华领衔发布短视频全模态理解新模型
【8月更文挑战第20天】SALMONN是由清华大学在ICML 2024发表的一种开创性的多模态模型,专为短视频全模态理解设计。它集成了预训练文本大模型与语音、音频编码器,能直接处理多样音频输入,在自动语音识别、翻译、情绪识别等任务中表现出色。SALMONN展现了令人兴奋的新能力,如翻译未训练语言和基于语音的问答。通过少样本激活微调,可进一步发掘其跨模态潜能。尽管如此,模型的计算成本和泛化能力仍是待克服的挑战。SALMONN标志着AI在具备通用听觉理解方面迈出重要一步。[论文链接: https://arxiv.org/abs/2310.13289]
75 3
|
3月前
|
机器学习/深度学习 人工智能 算法
ai量子计算
【8月更文挑战第5天】ai量子计算
46 3
|
4月前
|
机器学习/深度学习 人工智能 TensorFlow
🔥零基础逆袭!Python数据分析+机器学习:TensorFlow带你秒变AI大师
【7月更文挑战第29天】在这个数据驱动的时代,掌握Python与机器学习技能是进入AI领域的关键。即使从零开始,也能通过TensorFlow成为AI专家。
63 8
下一篇
无影云桌面