正式进军云服务器市场,高通发布Cloud AI 100推理芯片

本文涉及的产品
云服务器 ECS,每月免费额度200元 3个月
云服务器ECS,u1 2核4GB 1个月
简介: 高通此举意欲正面对标英伟达与Intel。

高通此举意欲正面对标英伟达与Intel。

提起高通,业内对它的直接印象就是移动芯片领域的巨头。一直以来,高通也确实只在移动通信领域深耕,并从芯片到底层平台一揽子都包下。而现在,高通冷不丁扔出的一枚“炸弹”也将一改以往大家对它的认知。

据悉,在旧金山举行的高通AI Day活动上,这家巨头正式宣布进军云计算市场,并发布了面向人工智能推理计算的专用 AI 加速器:Qualcomm Cloud AI 100。高通表示,Cloud AI 100 系列加速器基于 7 纳米芯片工艺,将于 2020 年推出产品,样片将在今年晚些时候公布。没有任何预告,继谷歌、亚马逊和英伟达之后,高通成为第四家成功在云端推理上正式发布芯片的公司。

TB1Q.gJQXzqK1RjSZFoXXbfcXXa.jpg

根据高通的定义,Cloud AI 100是一枚面向“人工智能推理”的专用 AI 加速器 (purpose-built AI Accelerator),它集成了各种开发工具包括编译器、分析器、监视器、服务、芯片调试器和量化,让客户能够根据AI 推理处理任务需求而调整模块设计、外形和功率级别。

据悉,Cloud AI 100的峰值性能是Snapdragon 855和 Snapdragon 820的3到50倍;与传统的 FPGA 相比,它的推理速度提高了约 10 倍。在软件架构上,它支持ONNX、Glow和XLA,以及包括谷歌的TensorFlow、Facebook 的PyTorch、Keras、MXNet、百度的PaddlePaddle和微软的认知工具包在内的大部分深度学习框架。

关于具体的技术细节,高通并未透露过多,目前将其与竞品做简单的横向比较并不适合。不过为方便理解,可以将谷歌TPU一代的数据放出来以作参考:Cloud AI 100的运算性能可以达到350TOPS;Google TPU一代在250W下的测试结果是92TOPS。

毋庸置疑,随着云计算和人工智能技术对各项场景的深入,推理运算需求将会持续上涨,在这片蓝海面前,高通无疑是要抢夺一部分市场,意欲正面对标“志在必得”的英伟达和Intel。

相关实践学习
一小时快速掌握 SQL 语法
本实验带您学习SQL的基础语法,快速入门SQL。
7天玩转云服务器
云服务器ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,可降低 IT 成本,提升运维效率。本课程手把手带你了解ECS、掌握基本操作、动手实操快照管理、镜像管理等。了解产品详情: https://www.aliyun.com/product/ecs
相关文章
|
6天前
|
存储 弹性计算 人工智能
云服务器 ECS产品使用问题之如何试用神龙AI的AIACC
云服务器ECS(Elastic Compute Service)是各大云服务商阿里云提供的一种基础云计算服务,它允许用户租用云端计算资源来部署和运行各种应用程序。以下是一个关于如何使用ECS产品的综合指南。
|
11天前
|
IDE 物联网 网络性能优化
什么是MQTT?如何使用ESP12F芯片连接到MQTT服务器
通过上述步骤,你可以成功地使用ESP12F模块连接到MQTT服务器,发布和订阅消息。MQTT的轻量级和高效性使其非常适合各种物联网应用,而ESP12F模块的强大功能和低成本使其成为实现这些应用的理想选择。
48 0
|
20天前
|
人工智能 Java Spring
使用 Spring Cloud Alibaba AI 构建 RAG 应用
本文介绍了RAG(Retrieval Augmented Generation)技术,它结合了检索和生成模型以提供更准确的AI响应。示例中,数据集(包含啤酒信息)被加载到Redis矢量数据库,Spring Cloud Alibaba AI Starter用于构建一个Spring项目,演示如何在接收到用户查询时检索相关文档并生成回答。代码示例展示了数据加载到Redis以及RAG应用的工作流程,用户可以通过Web API接口进行交互。
52316 61
|
25天前
|
网络安全 Python
pycharm连接云服务器#潞晨cloud
Luchencloud采用SSH密钥对连接,需先在本地生成公钥并添加到平台
117 0
|
30天前
|
测试技术 PyTorch 算法框架/工具
魔搭开源推理引擎 DashInfer,助力CPU服务器解锁大模型超强推理
ModelScope推出了预训练大语言模型(LLM)推理引擎DashInfer,采用C++ Runtime编写,提供C++和Python语言接口,具有生产级别的高性能表现,适用于多种CPU架构,包括x86和ARMv9。DashInfer支持连续批处理(Continuous Batching)和多NUMA推理(NUMA-Aware),能够充分利用服务器级CPU的算力,为推理14B及以下的LLM模型提供更多的硬件选择。该项工作已开源。
|
1月前
|
存储 机器学习/深度学习 人工智能
社区供稿 | Yuan2.0千亿大模型在通用服务器上的高效推理实现:以NF8260G7服务器为例
浪潮信息联合Intel在IPF大会上发布了可运行千亿参数大模型的AI通用服务器,首次实现了单机通用服务器,即可运行千亿参数大模型。并在发布现场演示了基于NF8260G7服务器进行yuan2.0-102B模型在代码编写、逻辑推理等高难度问题上的实时推理效果,引起了业界广泛的关注。本文将详细解读yuan2.0-102B模型在NF8260G7服务器上进行高效实时推理的原理和技术路径。
|
1月前
|
人工智能 监控 安全
Spring Cloud+Uniapp 智慧工地云平台源码 智慧工地云平台AI视频分析应用
AI视频分析包括行为分析,即人员安全帽佩戴检测、反光衣穿戴检测、人员出入检测、区域入侵监测,以及烟火监测、人数统计、人脸识别、车辆识别、人体测温等。
35 0
|
1月前
|
机器学习/深度学习 人工智能 自然语言处理
清华首款AI光芯片登上Science,全球首创架构迈向AGI
【4月更文挑战第16天】清华大学研究团队开发出大规模光子芯片“太极”,在《科学》杂志发表,该芯片基于创新的光子计算架构,实现百万神经元级别的ONN,能效比高达160 TOPS/W。实验中,太极芯片成功执行1000类别分类任务,提升AI内容生成质量,为AGI发展开辟新路径。然而,光子集成电路的制造成本高、技术成熟度不足及软件支持限制了其广泛应用。
56 5
清华首款AI光芯片登上Science,全球首创架构迈向AGI
|
1月前
|
存储 人工智能 新制造
探索AI时代的刻蚀技术:解锁未来芯片的秘密
探索AI时代的刻蚀技术:解锁未来芯片的秘密
|
1月前
|
人工智能 自然语言处理 搜索推荐
通义大模型落地手机芯片!离线环境可流畅运行多轮AI对话
通义大模型落地手机芯片!离线环境可流畅运行多轮AI对话
49 0