通义大模型落地手机芯片!离线环境可流畅运行多轮AI对话

简介: 通义大模型落地手机芯片!离线环境可流畅运行多轮AI对话


阿里云与知名半导体公司MediaTek联合宣布,通义千问18亿、40亿参数大模型已成功部署进天玑9300移动平台,可离线流畅运行即时且精准的多轮AI对话应用,连续推理功耗增量不到3W,实现手机AI体验的大幅提升。这是通义大模型首次完成芯片级的软硬适配,仅依靠终端算力便能拥有极佳的推理性能及功耗表现,标志着Model-on-Chip(片上大模型)的探索正式从验证走向商业化落地新阶段。


端侧AI是大模型落地的极具潜力的场景之一。利用终端算力进行AI推理,可大幅降低推理成本、保证数据安全并提升AI响应速度,让大模型可以更好地为用户提供个性化体验。然而,要将大模型部署并运行在终端,需完成从底层芯片到上层操作系统及应用开发的软硬一体深度适配,存在技术未打通、算子不支持、开发待完善等诸多挑战。


据了解,通义千问18亿参数开源大模型,在多个权威测试集上性能表现远超此前SOTA模型,且推理2048 token最低仅用1.8G内存,是一款低成本、易于部署、商业化友好的小尺寸模型。天玑9300集成MediaTek第七代AI处理器APU790,生成式AI处理速度是上一代AI处理器的8倍。


阿里巴巴通义实验室业务负责人徐栋介绍称,阿里云与MediaTek在模型瘦身、工具链优化、推理优化、内存优化、算子优化等多个维度展开合作,实现了基于AI处理器的高效异构加速,真正把大模型“装进”并运行在手机芯片中,给业界成功打样端侧AI的Model-on-Chip部署新模式。


image.png

图|在天玑9300设备上,可离线完成基于通义千问大模型

小尺寸版本的AI多轮会话


基于天玑9300芯片,通义千问18亿参数大模型在推理方面表现出了极佳的性能与功耗表现,推理时CPU占有率仅为30%左右,RAM占用少于2GB,推理速度超过20tokens/秒,系列指标均达到业界领先水平,可在离线环境下流畅实现多轮AI对话。据了解,相关成果将以SDK的形式提供给手机厂商和开发者。


此外,双方团队也已完成了通义千问40亿参数大模型与天玑9300的适配,未来还将基于天玑适配70亿等更多尺寸大模型,“打样”并支持开发更多AI智能体及应用。


MediaTek无线通信事业部副总经理李彦辑博士表示:“阿里云的通义系列大模型是AI领域的佼佼者,我们期待通过双方的合作可以为应用开发者和终端客户提供更强大的硬件和软件解决方案,同时促进生成式AI的端侧部署以及AI应用、AI智能体生态的快速发展,为用户带来更多令人兴奋的AI产品体验。”


当天,阿里云与MediaTek宣布启动联合探索AI智能体解决方案计划,整合MediaTek天玑移动平台的AI算力及阿里云通义千问的大模型能力,为开发者和企业提供更完善的软硬联合开发平台,以更好支持智能终端在端侧高能效地实现自然语言理解、复杂决策制定以及个性化服务生成,探索打造真正具备情境感知、自主学习和实时交互功能的下一代智能终端应用生态。


通义大模型已在各行业广泛落地,包括钉钉、淘宝、一汽红旗、央视网、浙江大学等众多应用、企业及机构。“淘宝问问”基于通义千问实现了全新的交互体验以及更精准的推荐;阿里云与中国一汽联合打造的大模型应用GPT-BI已率先落地,可结合企业数据自动生成分析图表。


/ END /

目录
相关文章
|
1天前
|
机器学习/深度学习 人工智能 算法
AI - 决策树模型
决策树算法起源于古希腊的逻辑推理,20世纪在军事策略研究中首次提出。它通过构建树形模型模拟决策过程,每个节点代表一个属性判断,分支代表可能结果。ID3算法基于信息增益,C4.5则引入信息增益率,解决了ID3偏好多值属性的问题,还能处理缺失值。CART决策树适用于分类和回归任务,使用基尼系数或信息增益来选择特征。在Python的`sklearn`库中,`DecisionTreeClassifier`实现决策树分类,通过参数如`criterion`、`max_depth`等控制模型。
|
1天前
|
机器学习/深度学习 资源调度 算法
AI-逻辑回归模型
逻辑回归是一种用于分类问题的统计模型,尤其适合二分类任务,如预测广告点击率、判断邮件是否为垃圾邮件、评估疾病风险和预测信用卡违约等。模型通过线性方程(logit函数)结合Sigmoid函数将结果映射到0到1区间,表示概率。损失函数通常使用交叉熵,优化时常用梯度下降。评估指标包括ROC曲线和AUC,后者衡量模型整体性能,值越接近1表示性能越好。在不平衡数据集上,可使用`class_weight='balanced'`来调整样本权重。
|
1天前
|
机器学习/深度学习 算法 大数据
AI-线性回归模型(二)
这篇内容介绍了梯度下降法在机器学习中的应用,特别是在线性回归中的角色。它是一种迭代优化算法,用于找到损失函数最小值的参数。全梯度下降(FGD)使用所有数据计算梯度,适合大数据但计算成本高;随机梯度下降(SGD)随机选取样本,速度快但可能收敛到局部最小值。随机平均梯度下降(SAG)结合两者的优点,提高收敛速度。评估线性回归模型的性能通常使用平均绝对误差、均方误差和均方根误差。文中还展示了波士顿房价预测案例,使用SGDRegressor进行训练,并讨论了学习率的影响。最后提到了如何使用`joblib`库保存和加载模型。
|
1天前
|
机器学习/深度学习 API Python
AI-线性回归模型(一)
线性回归是用于分析变量间线性关系的统计方法,常见于房价预测、销售额预测和贷款额度评估。通过最小二乘法寻找最佳直线方程y=wx+b,其中y是因变量,x是自变量,w和b是模型参数。在Python的`sklearn`库中,使用`LinearRegression`类可构建模型,通过`fit`训练和`predict`进行预测。损失函数通常用平方损失(均方误差)衡量预测误差,优化目标是最小化这些误差的平方和。
|
2天前
|
人工智能 开发工具 Swift
ModelScope联手OpenDataLab:直接调用7000+开源数据集,赋能AI模型加速研发
魔搭社区和OpenDatalab浦数合作,共同开启一场模型与数据的深度融合,旨在为中国开发者打造更加高效、开放的AI体验。
|
3天前
|
人工智能 自然语言处理 监控
AI大模型智能体工作流涉及使用Ollama和FastGPT这两个工具
AI大模型智能体工作流涉及使用Ollama和FastGPT这两个工具
30 4
|
3天前
|
机器学习/深度学习 人工智能 自然语言处理
AI大模型学习涉及理论、技术和应用多个方面的探索
AI大模型学习涉及理论、技术和应用多个方面的探索
20 3
|
3天前
|
人工智能 自然语言处理 Java
Spring AI是一个开源的多模态AI模型平台
Spring AI是一个开源的多模态AI模型平台
24 2
|
5天前
|
机器学习/深度学习 人工智能 自然语言处理
AI大模型的核心成功因素
AI大模型的核心成功因素
|
6天前
|
人工智能 自然语言处理 搜索推荐
优化AI对话体验并全面兼容GPT功能平台
优化AI对话体验并全面兼容GPT功能平台
15 1

热门文章

最新文章