2020机器学习框架走向大融合!Jeff Dean、PyTorch之父等展望AI大势

本文涉及的产品
NLP 自学习平台,3个模型定制额度 1个月
NLP自然语言处理_高级版,每接口累计50万次
NLP自然语言处理_基础版,每接口每天50万次
简介:

人工智能不再准备有一天改变世界,它正在改变世界。新年伊始,VentureBeat转向了AI领域最敏锐的头脑,重新审视了2019年取得的进步,并展望了机器学习在2020年将如何发展。

受访者包括Google AI负责人Jeff Dean、PyTorch的创始人Soumith Chintala、加州大学教授Celeste Kidd、英伟达机器学习研究总监Anima Anandkumar和IBM研究总监Dario Gil。

每个人对新的一年都有预测,但是这些人正在塑造未来。这些在AI社区中具有权威的人,他们珍视科学追求,他们获得了实至名归的荣誉。尽管一些人预测了半监督学习和神经符号方法等子领域的进展,但几乎所有ML专家都表示同意,2019年,基于Transformer的自然语言模型方面取得了巨大进展,而像面部识别这样的技术继续引起争议。相比看到AI领域准确率的提高,他们更希望看到AI的价值。

先总结一下这次AI专家们预测的一些趋势:

随着Transformers推动了巨大的飞跃,自然语言模型的进步是2019年的一件大事。在2020年寻找更多基于BERT和基于Transformer的模型的变体。
人工智能行业应该寻找方法来评估模型输出的准确性。
诸如半监督学习,机器学习的神经符号方法之类的方法以及诸如多任务和多模式学习之类的子领域可能会在未来一年取得进展。
与生物统计数据(如语音记录)相关的伦理挑战可能会继续引起争议。
诸如量化之类的编译器和方法可能会在PyTorch和TensorFlow这些机器学习框架中作为优化模型性能的方式而流行。
PyTorch创始人Soumith Chintala :机器学习框架走向大融合

PyTorch是当今世界上最受欢迎的机器学习框架。它是2002年问世的Torch开源框架的衍生产品,自2015年发布以来,其扩展工具和库均稳步增长。

今年秋天,Facebook发布了支持量化和TPU的PyTorch 1.3,以及深度学习可解释性工具Captum和面向移动设备的PyTorch Mobile。还有诸如PyRobot和PyTorch Hub等其他产品和工具,可用于共享代码并推进机器学习研究的可重复性。

Chintala在今年秋天在PyTorch开发者大会上曾表示,他认为2019年机器学习领域几乎没有突破性进展。

“实际上,我认为自从Transformer架构问世以来,我们基本上没有什么开创性的新东西……卷积网络在2012年就进入了黄金期,而Transformer则是在2017年左右。当然,这是我的个人看法,”他说。

Chintala表示,DeepMind的AlphaGo在强化学习方面的贡献确实是开创性的,但对于现实世界中的实际任务,很难实现这一结果。Chintala还认为,机器学习框架(如PyTorch和TensorFlow)的发展改变了研究人员的研究思路和方式。

“从某种意义上说,这是一个突破,让研发速度比以前快了一两个数量级。”

今年,谷歌和Facebook的开源框架引入了量化功能,以提高模型训练的速度。在未来的几年内,Chintala认为PyTorch的JIT编译器和Glow等神经网络硬件加速器的重要程度和应用范围都有望实现“爆炸式增长”。

“有了PyTorch和TensorFlow,目前框架的融合过程已经开始。之所以现在框架推出了量化功能,以及其他一系列较低层级的工具,是因为下一场战争是框架的编译器之争。比如XLA,TVM,以及PyTorch的Glow,在接下来的几年中,深度学习框架的焦点将是如何更智能地实现量化,如何更好地促进框架间的融合,如何更有效地使用GPU,如何为新硬件进行自动编译等等。”

Chintala预测,AI社区将在2020年之前将更多精力放在AI模型更广泛意义的性能提升上,不仅仅是精度,也要重视其他因素,比如建立模型所需的能耗、如何解释模型的输出、AI如何更好地反映人们想要建立的社会类型。

“回想过去五六年,我们基本上只是关注准确性,我认为2020年将是我们开始以更复杂的方式思考的一年。”

Jeff Dean :多模式学习将取得新突破

Jeff Dean领导Google AI已有近两年时间,他已经在Google工作了二十年,是Google许多早期搜索和分布式网络算法的架构师,也是Google Brain的早期成员之一。

Jeff Dean上个月出席NeurIPS 2019,就ASIC半导体设计的机器学习以及AI社区应对气候变化等话题进行了演讲。他预计2020年,多模式学习领域将取得进展,这是一种依靠多种媒体进行训练的AI,而多任务学习则涉及旨在一次完成多个任务的网络。

毫无疑问,2019年机器学习最明显趋势之一是基于Transformer的自然语言模型的持续壮大。Google于2018年开源了基于Transformer的模型BERT。据GLUE排行榜的数据显示,今年发布的许多性能最佳的模型(如Google的XLNet,微软的MT-DNN,Facebook的RoBERTa)都基于Transformer。XLNet 2将于本月晚些时候发布。

他表示:“ 我认为目前的研究路线在生成实用机器学习模型方面非常有成果,现在的机器学习模型比过去能够完成的复杂得多,但未来仍有增长空间。“我们仍然有望创建更多的上下文相关的模型。目前BERT和其他模型可以很好地处理数百个单词,但不能很好处理带上下文的10000个单词。”

Jeff Dean希望今后能够少强调一些最新技术,而倾向于构建更强大的模型。

Celeste Kidd:2020年可能意味着“神经网络不可解释”这一观念的终结

加州大学伯克利分校的发展心理学家,Kidd实验室主管

Celeste Kidd与团队成员在Kidd实验室探索孩子们如何学习。她们的洞察可以帮助神经网络的创造者——正试图用与抚养孩子不太不同的方式来训练模型。

在人工智能领域,“黑盒”一词已经存在多年。它被用来批评神经网络缺乏可解释性,但Kidd认为2020年可能意味着“神经网络不可解释”这一观念的终结。她说:“黑匣子的论点是虚假的……大脑也是黑匣子,我们在理解大脑如何工作的方面取得了很大进步。”

为了解开对神经网络的这种认识,Kidd将目光投向了像MIT-IBM Watson AI Lab的执行主任Aude Oliva这样的人的工作。她说:“我们在讨论这个问题,你可以解剖它们,把它们拆开,看看它们是如何工作的,并对它们进行实验,就像我们理解认知一样。”

在2020年,她希望看到人们更多地意识到技术工具和技术决策在现实生活中的影响,并摒弃工具制造商不对人们使用工具的行为负责任的观点。她说:“我听到很多人试图为自己辩护,说他们自己不是真相的主持人;我认为必须提高人们对这种不诚实态度的认识。我们作为社会人,特别是作为正在开发这些工具的人们,确实需要直接意识到随之而来的责任。”

Dario Gil:神经符号和常识推理是MIT-IBM Watson Lab的一项旗舰计划

IBM研究主管

他预测,在架构的精度降低的情况下使训练更有效率,会取得持续的进展。开发更有效的AI模型是NeurIPS的一个重点,IBM Research在NeurIPS引入了8位精确模型的深度学习技术。

他说:“我们用现有的硬件和GPU架构训练深度神经网络的方式仍然是如此普遍低下。因此,对这此进行真正根本性的反思非常重要。我们必须提高AI的计算效率,这样才能做得更多。”

Gil引用的研究表明,每三个半月对机器学习训练的需求就会翻一番,远远快于摩尔定律预测的增长速度。Gil还对人工智能如何帮助加速科学发现感到兴奋,但IBM的研究将主要集中于机器学习的神经符号方法上。

在2020年,Gil希望人工智能从业者和研究人员把重点放在准确性以外的指标上,以考虑投入生产的模型的价值。将领域转向构建可信系统,而不是将准确性放在首位,这将是继续采用人工智能的中心支柱。

Gil相信,要想让更多具备数据科学和软件工程技能的人使用人工智能,就必须摆脱这样一种观念——只有少数机器学习的奇才能够做人工智能。他说:“如果我们把人工智能作为一个神话般的领域,只对从事这方面研究的博士开放,那么这并不能真正促进人们对人工智能的使用。”

在未来一年里,Gil对神经符号人工智能特别感兴趣。IBM将寻求神经符号方法来增强概率编程等功能——人工智能在其中学习如何操作程序,以及能够共享决策背后的推理的模型。他认为,通过这些神经符号方法将学习和推理结合起来,其中符号维度嵌入到学习程序中,已经证明可以用所需的一小部分数据来学习。因为学习了一个程序,最终得到了一些可解释的东西;因为有一些可解释的东西,又得到了更可信的东西。

公平性、数据完整性、数据集的选择等问题、“任何与生物识别有关的问题”将继续受到广泛关注,也将继续受到关注。面部识别得到了很多关注,但这只是个开始。语音数据和其他形式的生物识别技术将会越来越敏感。一切与人的身份、生物特征以及人工智能在分析方面取得的进展,都将继续是前沿和中心。

除了神经符号和常识推理(MIT-IBM Watson Lab的一项旗舰计划)外,IBM Research在2020年还将探索AI的量子计算与模拟硬件(超越降低精度的架构)。

Nvidia机器学习研究总监Anima Anandkumar:希望看到更多针对特定行业的文本模型

Anandkumar加入了GPU制造商Nvidia,此前她在AWS担任首席科学家。在英伟达,人工智能研究在多个领域继续进行,从医疗保健的联合学习到自动驾驶、超级计算机和图形学。

英伟达和Anandkumar在2019年的一个重点领域是强化学习的模拟框架,该框架正变得越来越受欢迎和成熟。

在2019年,我们看到了英伟达的自动驾驶平台和Isaac机器人模拟平台的兴起,以及从模拟和生成对抗网络生成合成数据的模型。

去年还迎来了AI的兴起,例如StyleGAN(一种可以使人们质疑自己是看的是计算机生成的人脸还是真实的人的技术)和GauGAN(可以用画笔生成风景)。StyleGAN2 上个月首次亮相。

GAN是可以模糊现实界限的技术,Anandkumar认为,它们可以帮助AI社区解决一些主要的挑战,例如能抓握的机器人手和自动驾驶。

Anandkumar还希望在未来一年内看到迭代算法、自监督和训练模型的自训练方法的进展,这些模型可以通过使用未标记的数据进行自训练来改进。

在2019年8月,英伟达推出了Megatron自然语言模型。Megatron拥有80亿个参数,被誉为全球最大的基于Transformer的AI模型。Anandkumar说,她对人们开始将模型表征为具有个性或字符的方式感到惊讶,并且她希望看到更多针对特定行业的文本模型。

(转自:https://mp.weixin.qq.com/s/NwlVzJN9h3xLD4So7l-XqQ 如有侵权,请联系删除)

目录
相关文章
|
15天前
|
机器学习/深度学习 人工智能 安全
探索AI的未来:从机器学习到深度学习
【10月更文挑战第28天】本文将带你走进AI的世界,从机器学习的基本概念到深度学习的复杂应用,我们将一起探索AI的未来。你将了解到AI如何改变我们的生活,以及它在未来可能带来的影响。无论你是AI专家还是初学者,这篇文章都将为你提供新的视角和思考。让我们一起探索AI的奥秘,看看它将如何塑造我们的未来。
51 3
|
16天前
|
存储 人工智能 运维
|
16天前
|
人工智能 运维 关系型数据库
云栖大会|数据库与AI全面融合,迈入数据智能新纪元
2024年云栖大会「数据库与AI融合」专场,来自NVIDIA、宇视科技、合思信息、杭州光云科技、MiniMax等企业的代表与阿里云瑶池数据库团队,共同分享了Data+AI全面融合的最新技术进展。阿里云发布了DMS的跨云统一开放元数据OneMeta和智能开发OneOps,推出《云数据库运维》技术图书,并介绍了PolarDB、AnalyticDB、Lindorm和Tair等产品的最新能力,展示了AI在数据库领域的广泛应用和创新。
|
7天前
|
机器学习/深度学习 人工智能 算法
人工智能与机器学习的融合之旅
【10月更文挑战第37天】本文将探讨AI和机器学习如何相互交织,共同推动技术发展的边界。我们将深入分析这两个概念,了解它们是如何互相影响,以及这种融合如何塑造我们的未来。文章不仅会揭示AI和机器学习之间的联系,还会通过实际案例展示它们如何协同工作,以解决现实世界的问题。
|
11天前
|
机器学习/深度学习 人工智能 自然语言处理
机器学习之解释性AI与可解释性机器学习
随着人工智能技术的广泛应用,机器学习模型越来越多地被用于决策过程。然而,这些模型,尤其是深度学习模型,通常被视为“黑箱”,难以理解其背后的决策逻辑。解释性AI(Explainable AI, XAI)和可解释性机器学习(Interpretable Machine Learning, IML)旨在解决这个问题,使模型的决策过程透明、可信。
25 2
|
11天前
|
机器学习/深度学习 数据采集 人工智能
揭秘AI:机器学习的魔法与代码
【10月更文挑战第33天】本文将带你走进AI的世界,了解机器学习的原理和应用。我们将通过Python代码示例,展示如何实现一个简单的线性回归模型。无论你是AI新手还是有经验的开发者,这篇文章都会给你带来新的启示。让我们一起探索AI的奥秘吧!
|
14天前
|
机器学习/深度学习 人工智能 自然语言处理
探索AI的奥秘:机器学习入门指南
【10月更文挑战第30天】本篇文章是一份初学者友好的机器学习入门指南,旨在帮助读者理解并开始实践机器学习。我们将介绍机器学习的基本概念,包括监督学习、无监督学习和强化学习等。我们还将提供一些实用的代码示例,以帮助读者更好地理解和应用这些概念。无论你是编程新手,还是有一定经验的开发者,这篇文章都将为你提供一个清晰的机器学习入门路径。
32 2
|
15天前
|
人工智能 运维 数据挖掘
跨界融合:AI与5G技术如何共同推动数字化转型
【10月更文挑战第29天】本文探讨了人工智能(AI)与第五代移动通信技术(5G)的结合如何推动数字化转型。通过高速、低延迟的5G网络和AI的数据分析能力,两者相辅相成,实现了智能化网络运维、增强网络功能和多行业的实际应用。文中提供了网络流量预测和故障预测的示例代码,展示了技术的实际应用潜力。
33 1
|
22天前
|
机器学习/深度学习 人工智能 运维
智能运维:大数据与AI的融合之道###
【10月更文挑战第20天】 运维领域正经历一场静悄悄的变革,大数据与人工智能的深度融合正重塑着传统的运维模式。本文探讨了智能运维如何借助大数据分析和机器学习算法,实现从被动响应到主动预防的转变,提升系统稳定性和效率的同时,降低了运维成本。通过实例解析,揭示智能运维在现代IT架构中的核心价值,为读者提供一份关于未来运维趋势的深刻洞察。 ###
76 10
|
18天前
|
机器学习/深度学习 人工智能 物联网
5G与AI融合:智能网络的新纪元
【10月更文挑战第25天】
38 3

热门文章

最新文章