OpenAI最新论文:机器学习效率正在超越摩尔定律

简介: 现在,机器学习已经开始在诸如 “星际争霸” 和 “dota2” 等复杂的多人视频游戏,以及诸如扑克之类的微妙游戏中脱颖而出,人工智能正在快速发展。

云栖号资讯:【点击查看更多行业资讯
在这里您可以找到不同行业的第一手的上云资讯,还在等什么,快来!

八年前,一种机器学习算法学会了识别一只猫,它震惊了全世界。

几年后,人工智能可以准确地翻译语言,打败世界围棋冠军。

现在,机器学习已经开始在诸如 “星际争霸” 和 “dota2” 等复杂的多人视频游戏,以及诸如扑克之类的微妙游戏中脱颖而出,人工智能正在快速发展。

6ED12590_01F1_4777_BC6C_AFCF1520EE58

但是速度有多快呢,是什么在驱动着速度呢?虽然更好的计算机芯片是关键,但 AI 研究机构 OpenAI 认为,我们也应该衡量实际机器学习算法的改进速度。

由 OpenAI 的 Danny Hernandez 和 Tom Brown 撰写并发表在 arXiv 上的论文指出,研究人员称他们已经开始跟踪衡量机器学习的效率,即用更少的资源做更多的事。他们使用这种方法表明,人工智能已经以一种极快的速度变得更加高效。

算法效率提升加快研究

一般说来,驱动 AI 进步的有三个因素:运算量、数据和算法创新。计算能力更容易跟踪,但算法方面的改进却有点难以捉摸。

我们可以将算法效率定义为减少训练特定功能所需的计算量,它是衡量计算机科学中算法进度的主要指标。传统问题(如排序)的效率提升比机器学习更易于衡量,因为它们可以更清晰地衡量任务难度。但是,可以通过保持性能恒定来将效率透镜应用于机器学习。

自 2012 年以来,在 ImageNet 分类中训练神经网络达到相同性能所需的计算量,每 16 个月减少了 2 倍。与 2012 年相比,现在将神经网络训练到 AlexNet(一种基准图像识别算法)所需的计算量减少了 44 倍。研究结果表明,对于最近投入大量资金的 AI 任务,算法进步比传统硬件效率产生了更多收益。

5B7CE30C_937A_4c16_AD6B_427D08EABEF9

用于训练到 AlexNet 级别的总计算量(以太字节 /天为单位),在任何给定时间的最低计算点都以蓝色显示,所有测量点都以灰色显示。

尤其在翻译和游戏等其他流行功能,在较短时间范围内改进的速度更快。在翻译方面,三年后的英法翻译中,Transformer 算法的计算能力比 seq2seq 算法低 61 倍;仅仅一年后,DeepMind 的 AlphaZero 在围棋比赛中,其计算量比 AlphaGoZero 少 8 倍,就能与 AlphaGoZero 匹敌;而仅三个月后,OpenaAI Five Rerun 在 Dota2 上使用了比原来低五倍的计算能力,就能超越了世界冠军 OpenaAI Five。

算法效率的提高,使得研究人员可以在给定的时间和金钱下进行更多感兴趣的实验,加速未来 AI 的研究。

机器学习的摩尔定律

机器学习中是否存在某种算法摩尔定律?

研究人员表示,目前还没有足够的信息来说明这一点。他们的工作只包括了几个数据点,原始的摩尔定律图表同样几乎没有被观察到,所以任何推断纯属推测。此外,研究仅关注少数几个流行的功能和顶级程序。目前尚不清楚观察到的趋势是否可以更广泛地推广到其他 AI 任务。

对于语言、游戏等领域,大规模的计算对于整体性能仍然很重要,因此追踪效率显得尤为重要,测量效率整体性能的长期趋势将有助于描绘总体算法进展的定量情况。研究人员观察到,硬件和算法效率提升是可乘的,并且在有意义的范围内可以达到相似的规模,这表明 AI 进步的良好模型应该整合两者的衡量指标。

研究结果还表明,对于具有高投资水平(研究人员花极大时间和精力)的 AI 任务,算法效率可能超过硬件效率(摩尔效率)带来的收益。

848BEBA5_9D4E_4420_BEE0_0778A8CFE324

摩尔定律是在 1965 年提出的,即当价格不变时,集成电路上可容纳的元器件的数目,约每隔 18-24 个月便会增加一倍,性能也将提升一倍。

当时集成电路只有 64 个晶体管,之后出现了个人计算机和智能手机(iPhone11 拥有 85 亿个晶体管)。如果我们观察到数十年来 AI 算法效率的指数级提高,它可能会带来什么?

出于这些原因,研究人员开始公开跟踪效率的整体性能,首先探索视觉和翻译效率基准,包括 ImageNet 和 WMT14,之后再考虑随着时间的推移将添加更多的基准。跟踪多种措施,包括硬件的措施,可以描绘出一幅更完整的进展情况,并有助于确定未来的努力和投资在哪些方面最有效。

人工智能的未来

值得注意的是,这项研究的重点是深度学习算法,这是目前占主导地位的人工智能方法。深度学习是否能继续取得如此巨大的进步,是人工智能领域争论的焦点。该领域的一些顶级研究人员质疑深度学习解决该领域最大挑战的长期潜力。

OpenAI 在较早的一篇论文中表明,最新热门的人工智能需要相当惊人的计算能力来进行训练,并且所需的资源正以惊人的速度增长。在 2012 年之前,人工智能程序使用的计算能力的增长主要遵循摩尔定律,而自 2012 年以来,机器学习算法使用的计算能力的增长速度是摩尔定律的 7 倍。

8D51533F_CF72_4bef_AE5C_6FD9AE5E808B

这也是 OpenAI 对跟踪进展感兴趣的原因。例如,如果机器学习算法的培训成本越来越高,那么增加对学术研究人员的资助就很重要;如果效率趋势被证明是一致的,那么就更容易预测未来的成本并相应地计划投资。

进步是否会持续不减,摩尔定律式的理论在未来几年或即将碰壁,仍有待观察。

但正如作者们所写的那样,如果这些趋势在未来继续下去,人工智能将变得更加强大,而且可能比我们想象的还要快。

【云栖号在线课堂】每天都有产品技术专家分享!
课程地址:https://yqh.aliyun.com/zhibo

立即加入社群,与专家面对面,及时了解课程最新动态!
【云栖号在线课堂 社群】https://c.tb.cn/F3.Z8gvnK

原文发布时间:2020-06-04
本文作者:何静
本文来自:“人工智能学家 微信公众号”,了解相关信息可以关注“人工智能学家

相关文章
|
1月前
|
机器学习/深度学习 人工智能 算法
【AAAI 2024】再创佳绩!阿里云人工智能平台PAI多篇论文入选
阿里云人工智能平台PAI发表的多篇论文在AAAI-2024上正式亮相发表。AAAI是由国际人工智能促进协会主办的年会,是人工智能领域中历史最悠久、涵盖内容最广泛的国际顶级学术会议之一,也是中国计算机学会(CCF)推荐的A类国际学术会议。论文成果是阿里云与浙江大学、华南理工大学联合培养项目等共同研发,深耕以通用人工智能(AGI)为目标的一系列基础科学与工程问题,包括多模态理解模型、小样本类增量学习、深度表格学习和文档版面此次入选意味着阿里云人工智能平台PAI自研的深度学习算法达到了全球业界先进水平,获得了国际学者的认可,展现了阿里云人工智能技术创新在国际上的竞争力。
|
28天前
|
机器学习/深度学习 数据采集 人工智能
论文介绍:机器学习中数据集规模增长的极限分析
【5月更文挑战第17天】论文《机器学习中数据集规模增长的极限分析》探讨了数据集大小对AI模型性能的影响,预测语言数据可能在2026年前耗尽,图像数据在2030-2060年可能面临相同问题。研究显示数据积累速度无法跟上数据集增长,可能在2030-2040年间导致训练瓶颈。然而,算法创新和新数据源的发展可能缓解这一问题。[链接](https://arxiv.org/pdf/2211.04325.pdf)
40 2
|
1月前
|
机器学习/深度学习 存储 数据采集
【python】Python大豆特征数据分析 [机器学习版二](代码+论文)【独一无二】
【python】Python大豆特征数据分析 [机器学习版二](代码+论文)【独一无二】
|
1月前
|
机器学习/深度学习 数据可视化 算法
【python】Python大豆特征数据分析 [机器学习版一](代码+论文)【独一无二】
【python】Python大豆特征数据分析 [机器学习版一](代码+论文)【独一无二】
|
1月前
|
机器学习/深度学习 数据可视化 算法
【python】Python大豆特征数据分析 [机器学习版一](代码+论文)【独一无二】
【python】Python大豆特征数据分析 [机器学习版一](代码+论文)【独一无二】
|
8月前
|
机器学习/深度学习 人工智能 算法
CV领域再创佳绩!阿里云机器学习平台 PAI 多篇论文入选 ICCV 2023
近期,阿里云机器学习平台PAI发表的多篇论文在ICCV 2023上入选。ICCV是国际计算机视觉大会是由电气和电子工程师协会每两年举办一次的研究大会。与CVPR和ECCV一起,它被认为是计算机视觉领域的顶级会议之一。ICCV 2023将于10月2日至10月6日法国巴黎举办。ICCV汇聚了来自世界各地的学者、工程师和研究人员,分享最新的计算机视觉研究成果和技术进展。会议涵盖了计算机视觉领域的各个方向,包括图像处理、模式识别、机器学习、人工智能等等。ICCV的论文发表和演讲都备受关注,是计算机视觉领域交流和合作的重要平台。
|
1月前
|
机器学习/深度学习 人工智能 自然语言处理
阿里云人工智能平台PAI多篇论文入选EMNLP 2023
近期,阿里云人工智能平台PAI主导的多篇论文在EMNLP2023上入选。EMNLP是人工智能自然语言处理领域的顶级国际会议,聚焦于自然语言处理技术在各个应用场景的学术研究,尤其重视自然语言处理的实证研究。该会议曾推动了预训练语言模型、文本挖掘、对话系统、机器翻译等自然语言处理领域的核心创新,在学术和工业界都有巨大的影响力。此次入选意味着阿里云人工智能平台PAI自研的自然语言处理算法达到了全球业界先进水平,获得了国际学者的认可,展现了中国人工智能技术创新在国际上的竞争力。
|
8月前
|
数据安全/隐私保护
OpenAI居然能自动写论文?导师直言我都犯难了...
OpenAI居然能自动写论文?导师直言我都犯难了...
|
8月前
|
人工智能 算法
阿里云人工智能平台 PAI 扩散模型加速采样算法论文入选 CIKM 2023
近日CIKM 2023上,阿里云人工智能平台PAI和华东师范大学陈岑副教授团队主导的扩散模型加速采样算法论文《Optimal Linear Subspace Search: Learning to Construct Fast and High-Quality Schedulers for Diffusion Models》入选。此次入选意味着阿里云人工智能平台 PAI自研的扩散模型算法和框架达到了全球业界先进水平,获得了国际学者的认可,展现了中国人工智能技术创新在国际上的竞争力。
|
4天前
|
机器学习/深度学习 人工智能 自然语言处理
炸裂!PAI-DSW 和 Free Prompt Editing 图像编辑算法,成就了超神的个人 AIGC 绘图小助理!
【6月更文挑战第11天】PAI-DSW 和 Free Prompt Editing 算法引领图像编辑革命,创造出个人AIGC绘图小助理。PAI-DSW擅长深度图像处理,通过复杂模型和深度学习精准编辑;Free Prompt Editing则允许用户以文本描述编辑图像,拓展编辑创意。结合两者,小助理能根据用户需求生成惊艳图像。简单Python代码示例展示了其魅力,打破传统编辑局限,为专业人士和普通用户提供创新工具,开启图像创作新篇章。未来,它将继续进化,带来更多精彩作品和体验。