ARK Invest最新报告 :AI训练成本下降了100倍,但训练最先进AI模型的成本惊人

简介: 方舟投资的最新一项报告指出,AI训练成本从2017年至2019年下降了100倍,但人工智能发展尚处于初期阶段。该报告同时发现AI算法效率每16个月翻一番,与OpenAI的报告结果一致。

微信图片_20220109011716.jpg

 机器学习训练系统越来越便宜了。


 方舟投资(ARK Invest)近日发布了一篇分析报告显示,AI训练成本的提高速度是摩尔定律(Moore’s law)的50倍。摩尔定律是指计算机硬件性能每两年提升一倍。


两年间,AI训练成本下降了100倍


方舟评估委员会在其报告中发现,从1960年到2010年,按照摩尔定律,用于训练的AI算力翻了一番。


人工智能计算的复杂度自2010年以来每年飙升10倍(每秒千万亿次运算)。与此同时,过去三年的训练成本每年下降10倍。 2017年,在公共云上训练像 ResNet-50这样的图像分类器的成本约为1000美元,到了2019年只需大约10美元。 方舟评估委员会预测,按照目前的速度,到今年年底,其训练成本应降至1美元


微信图片_20220109011719.png


该公司预计,随着这一成本的下降,推理的成本(在生产过程中运行一个训练有素的模型)将会下降。 比如,在过去两年中,对十亿张图像进行分类的成本从10,000美元降至仅0.03美元。


微信图片_20220109011721.png


对于那些与像谷歌 DeepMind 这样资金雄厚的公司进行竞争的初创公司来说,这无疑是天籁之音。


DeepMind 去年亏损5.72亿美元,且背负着超过10亿美元的债务。 尽管一些专家认为,科技巨头无可匹敌的实验室有能力从事新的研究,但训练成本也是AI工作中不可避免的开支,不论是在企业、学术界还是其他领域。


AI算法效率每16个月翻一番,与OpenAI报告结果一致


方舟投资的这些发现似乎与 OpenAI 最近一份报告的发现结果一致。 OpenAI 的报告指出,自 2012 年以来,人工智能模型在 ImageNet 分类中训练神经网络达到相同性能所需的计算量,每 16 个月减少了 2 倍


微信图片_20220109011723.png


OpenAI观察到16个月AI模型的效率倍增时间(任意给定时间的最低计算点用蓝色表示,测量点用灰色表示)


据 OpenAI 介绍,它发现谷歌的 Transformer 架构超越了以前由谷歌开发的最先进模型——seq2seq,在seq2seq推出三年后,其计算量减少至原来的1/61。 


谷歌的 Transformer 架构超越了之前的最先进模型—— seq2seq,后者也是谷歌开发的,在 seq2seq 推出三年后,计算能力下降了61倍。 Deepmind 的 AlphaZero 是一个从零开始自学如何掌握国际象棋、将棋和围棋游戏的系统。


微信图片_20220109011725.jpg


仅仅一年后,DeepMind 的 AlphaZero 在围棋比赛中,其计算量比 AlphaGoZero 少 8 倍,就能与 AlphaGoZero 匹敌。


AI发展尚处于初期阶段,训练最先进AI模型的成本依然惊人


方舟投资报告指出, 硬件和软件的突破使得AI训练成本下降。


 在过去的三年中,芯片和系统的设计不断发展,为深度学习添加了专用硬件,从而使性能提高了16倍。 例如, Nvidia于2017年发布的 V100显卡,比三年前发布的 K80 快1800%  (显卡通常用于训练大型人工智能系统) 。


在2018年至2019年间,由于麻省理工学院、谷歌、 Facebook、微软、 IBM、 Uber 等公司的软件创新,V100的训练性能提高了大约800% 。


微信图片_20220109011727.png


ARK 分析师 James Wang 写道,「从AI训练成本下降的速度来看,人工智能发展还处于初期。」 摩尔定律的第一个十年里,晶体管数量每年翻一番。


我们在人工智能训练和推断中看到从10倍到100倍的成本下降表明,人工智能的发展尚处于初级阶段,未来几十年可能会出现较慢但持续的增长。


值得注意的是,虽然AI模型训练的费用似乎在下降,但是在云中开发复杂ML模型仍然昂贵得让人望而却步


微信图片_20220109011729.png


根据 Synced 最近的一份报告,华盛顿大学的 Grover 专门用于生成和检测虚假新闻,训练最大的Grover Mega模型的总费用为2.5万美元。 


OpenAI 花费了1200万美元来训练它的 GPT-3语言模型。 


而谷歌花费了大约6912美元来训练 BERT,这是一种双向变换模型,它重新定义了11种自然语言处理任务的最新技术。 


参考链接:
https://venturebeat.com/2020/06/04/ark-invest-ai-training-costs-dropped-100-fold-between-2017-and-2019/https://ark-invest.com/analyst-research/ai-training/

相关文章
|
2天前
|
人工智能 搜索推荐 开发者
Aurora:xAI 为 Grok AI 推出新的图像生成模型,xAI Premium 用户可无限制访问
Aurora是xAI为Grok AI助手推出的新图像生成模型,专注于生成高逼真度的图像,特别是在人物和风景图像方面。该模型支持文本到图像的生成,并能处理包括公共人物和版权形象在内的多种图像生成请求。Aurora的可用性因用户等级而异,免费用户每天能生成三张图像,而Premium用户则可享受无限制访问。
32 11
Aurora:xAI 为 Grok AI 推出新的图像生成模型,xAI Premium 用户可无限制访问
|
4天前
|
存储 人工智能 PyTorch
【AI系统】模型转换流程
本文详细介绍了AI模型在不同框架间的转换方法,包括直接转换和规范式转换两种方式。直接转换涉及从源框架直接生成目标框架的模型文件,而规范式转换则通过一个中间标准格式(如ONNX)作为桥梁,实现模型的跨框架迁移。文中还提供了具体的转换流程和技术细节,以及模型转换工具的概览,帮助用户解决训练环境与部署环境不匹配的问题。
17 5
【AI系统】模型转换流程
|
4天前
|
机器学习/深度学习 存储 人工智能
【AI系统】训练后量化与部署
本文详细介绍了训练后量化技术,涵盖动态和静态量化方法,旨在将模型权重和激活从浮点数转换为整数,以优化模型大小和推理速度。通过KL散度等校准方法和量化粒度控制,文章探讨了如何平衡模型精度与性能,同时提供了端侧量化推理部署的具体实现步骤和技术技巧。
22 1
【AI系统】训练后量化与部署
|
12天前
|
机器学习/深度学习 人工智能 语音技术
Fugatto:英伟达推出的多功能AI音频生成模型
Fugatto是由英伟达推出的多功能AI音频生成模型,能够根据文本提示生成音频或视频,并修改现有音频文件。该模型基于增强型的Transformer模型,支持复杂的组合指令,具有强大的音频生成与转换能力,广泛应用于音乐创作、声音设计、语音合成等领域。
60 1
Fugatto:英伟达推出的多功能AI音频生成模型
|
19天前
|
人工智能 安全 JavaScript
Open Interpreter:AI 赋能终端!在终端中对话AI模型进行编程,通过运行代码来完成各种计算机操作任务
Open Interpreter 是一个让语言模型运行代码的强大工具,提供了一个类似 ChatGPT 的界面,支持多种编程语言和丰富的功能。
78 7
Open Interpreter:AI 赋能终端!在终端中对话AI模型进行编程,通过运行代码来完成各种计算机操作任务
|
12天前
|
机器学习/深度学习 存储 人工智能
【AI系统】谷歌 TPU v2 训练芯片
2017年,谷歌推出TPU v2,专为神经网络训练设计,标志着从推理转向训练的重大转变。TPU v2引入多项创新,包括Vector Memory、Vector Unit、MXU及HBM内存,以应对训练中数据并行、计算复杂度高等挑战。其高效互联技术构建了TPU v2超级计算机,显著提升大规模模型训练的效率和性能。
27 0
|
1月前
|
人工智能 安全 Cloud Native
|
16天前
|
机器学习/深度学习 人工智能 算法
AI技术在医疗诊断中的应用及前景展望
本文旨在探讨人工智能(AI)技术在医疗诊断领域的应用现状、挑战与未来发展趋势。通过分析AI技术如何助力提高诊断准确率、缩短诊断时间以及降低医疗成本,揭示了其在现代医疗体系中的重要价值。同时,文章也指出了当前AI医疗面临的数据隐私、算法透明度等挑战,并对未来的发展方向进行了展望。
|
24天前
|
机器学习/深度学习 人工智能 自然语言处理
当前AI大模型在软件开发中的创新应用与挑战
2024年,AI大模型在软件开发领域的应用正重塑传统流程,从自动化编码、智能协作到代码审查和测试,显著提升了开发效率和代码质量。然而,技术挑战、伦理安全及模型可解释性等问题仍需解决。未来,AI将继续推动软件开发向更高效、智能化方向发展。
|
20天前
|
机器学习/深度学习 人工智能 算法
AI在医疗诊断中的应用
【10月更文挑战第42天】本文将探讨人工智能(AI)在医疗诊断中的应用,包括其优势、挑战和未来发展方向。我们将通过实例来说明AI如何改变医疗行业,提高诊断的准确性和效率。