阿里云潘岳:异构计算四年算力提升100倍,云上AI推理占比超50%

简介: 潘岳介绍,阿里云提供了超大规模的云上异构计算集群,每秒可支撑100亿亿次的异构运算,能够在1秒内看懂超过5.3亿张图片;识别3.3亿秒/9.2万小时长的语音,相当于听写了1723本《红楼梦》长篇小说或者26万篇短篇小说;1秒内可以翻译4千万句话,相当于翻译了42本《哈姆雷特》。

vcg_VCG41N809917226_RF.jpg

12月17日, GTC China 2020大会上,阿里云异构计算产品负责人潘岳表示,人工智能行业需求发生了明显的变化,云上AI业务的推理需求占比首次超过50%,阿里云GPU云服务器从四年前的gn4到今年新发布的gn7,单实例异构算力提升了100倍。

异构计算是最能发挥AI效率的计算方式。潘岳介绍,阿里云提供了超大规模的云上异构计算集群,每秒可支撑100亿亿次的异构运算,能够在1秒内看懂超过5.3亿张图片;识别3.3亿秒/9.2万小时长的语音,相当于听写了1723本《红楼梦》长篇小说或者26万篇短篇小说;1秒内可以翻译4千万句话,相当于翻译了42本《哈姆雷特》。

4年前,云上80%的AI需求来自训练业务。但在2020年,云上AI推理业务的占比已经超过一半。潘岳表示,这也标志着阿里云异构计算进入新的阶段,即软硬一体的云上异构基础设施。

具体来说,用户不仅需要深度学习框架软件,更需要与之适配的硬件来发挥GPU的算力,例如阿里云神龙AI加速引擎 AIACC 和FastGPU等极速部署工具,就通过池化算力带来灵活的计算调度,云服务器从特定配置向serverless方向发展。可帮助客户在训练场景下提升2倍到10倍的性能,在推理场景下提升2倍到4倍的性能,节省至少50%的成本。

以知名人工智能芯片企业地平线为例。阿里云AIACC团队,和地平线研发团队紧密合作,将基于阿里云异构计算的分布式训练性能提升4倍,让地平线算法研发效率得以显著的提升,成本得以大幅下降。

“AI业务从最早的推理占比不到20%,到今天占比过半;原来只有人工智能初创公司探索,到落地各行各业;云上异构业务从单一深度学习训练场景,到今天的训练推理、云桌面、图形图像设计等多元化场景。阿里云异构计算是企业数字化、智能化转型的见证者,也是实践者。”潘岳表示。

相关文章
|
7天前
|
JSON 分布式计算 数据处理
加速数据处理与AI开发的利器:阿里云MaxFrame实验评测
随着数据量的爆炸式增长,传统数据分析方法逐渐显现出局限性。Python作为数据科学领域的主流语言,因其简洁易用和丰富的库支持备受青睐。阿里云推出的MaxFrame是一个专为Python开发者设计的分布式计算框架,旨在充分利用MaxCompute的强大能力,提供高效、灵活且易于使用的工具,应对大规模数据处理需求。MaxFrame不仅继承了Pandas等流行数据处理库的友好接口,还通过集成先进的分布式计算技术,显著提升了数据处理的速度和效率。
|
2天前
|
存储 人工智能 数据管理
|
2天前
|
弹性计算 人工智能 自然语言处理
云工开物:阿里云弹性计算走进高校第2期,与北京大学研一学生共探AI时代下的应用创新
阿里云高校合作、弹性计算团队​于北京大学,开展了第2届​【弹性计算进校园】​交流活动。
|
2天前
|
机器学习/深度学习 新零售 人工智能
基于阿里云AI购物助手解决方案的深度评测
阿里云推出的AI购物助手解决方案,采用模块化架构,涵盖智能对话引擎、商品知识图谱和个性化推荐引擎。评测显示其在智能咨询问答、个性化推荐和多模态交互方面表现出色,准确率高且响应迅速。改进建议包括提升复杂问题理解、简化推荐过程及优化话术。总体评价认为该方案技术先进,应用效果好,能显著提升电商购物体验并降低运营成本。
32 0
|
3天前
|
人工智能
阿里云领跑生成式AI工程领域,两大维度排名Gartner®生成式AI工程Market Quadrant全球第二
阿里云凭借强劲实力入选Gartner 《Innovation Guide for Generative AI Technologies》所有领域的新兴领导者象限。
|
11天前
|
机器学习/深度学习 人工智能 自然语言处理
AI技术深度解析:从基础到应用的全面介绍
人工智能(AI)技术的迅猛发展,正在深刻改变着我们的生活和工作方式。从自然语言处理(NLP)到机器学习,从神经网络到大型语言模型(LLM),AI技术的每一次进步都带来了前所未有的机遇和挑战。本文将从背景、历史、业务场景、Python代码示例、流程图以及如何上手等多个方面,对AI技术中的关键组件进行深度解析,为读者呈现一个全面而深入的AI技术世界。
75 10
|
5天前
|
机器学习/深度学习 人工智能 物联网
AI赋能大学计划·大模型技术与应用实战学生训练营——湖南大学站圆满结营
12月14日,由中国软件行业校园招聘与实习公共服务平台携手魔搭社区共同举办的AI赋能大学计划·大模型技术与产业趋势高校行AIGC项目实战营·湖南大学站圆满结营。
AI赋能大学计划·大模型技术与应用实战学生训练营——湖南大学站圆满结营
|
16天前
|
机器学习/深度学习 人工智能 自然语言处理
转载:【AI系统】AI的领域、场景与行业应用
本文概述了AI的历史、现状及发展趋势,探讨了AI在计算机视觉、自然语言处理、语音识别等领域的应用,以及在金融、医疗、教育、互联网等行业中的实践案例。随着技术进步,AI模型正从单一走向多样化,从小规模到大规模分布式训练,企业级AI系统设计面临更多挑战,同时也带来了新的研究与工程实践机遇。文中强调了AI基础设施的重要性,并鼓励读者深入了解AI系统的设计原则与研究方法,共同推动AI技术的发展。
转载:【AI系统】AI的领域、场景与行业应用
|
11天前
|
机器学习/深度学习 人工智能 算法
探索AI在医疗诊断中的应用与挑战
【10月更文挑战第21天】 本文深入探讨了人工智能(AI)技术在医疗诊断领域的应用现状与面临的挑战,旨在为读者提供一个全面的视角,了解AI如何改变传统医疗模式,以及这一变革过程中所伴随的技术、伦理和法律问题。通过分析AI技术的优势和局限性,本文旨在促进对AI在医疗领域应用的更深层次理解和讨论。
|
17天前
|
人工智能 缓存 异构计算
云原生AI加速生成式人工智能应用的部署构建
本文探讨了云原生技术背景下,尤其是Kubernetes和容器技术的发展,对模型推理服务带来的挑战与优化策略。文中详细介绍了Knative的弹性扩展机制,包括HPA和CronHPA,以及针对传统弹性扩展“滞后”问题提出的AHPA(高级弹性预测)。此外,文章重点介绍了Fluid项目,它通过分布式缓存优化了模型加载的I/O操作,显著缩短了推理服务的冷启动时间,特别是在处理大规模并发请求时表现出色。通过实际案例,展示了Fluid在vLLM和Qwen模型推理中的应用效果,证明了其在提高模型推理效率和响应速度方面的优势。
云原生AI加速生成式人工智能应用的部署构建