通义千问首次落地天玑9300移动平台

简介: 联发科天玑9300芯片携手阿里云通义千问大模型,实现移动端AI重大突破。通义千问在天玑9300上的高效运行,标志手机AI技术新高度,提供即时多轮对话体验。双方深度合作优化模型,通义千问18亿参数版在推理时内存占用低,速度高,为行业设定标准。双方启动AI智能体解决方案计划,推动下一代智能终端应用生态发展。高通等竞争对手也在加速大模型移动端部署,端侧AI市场竞争加剧。

557580fedf6169b934882469771a244f.jpg
在人工智能技术的飞速发展下,智能手机已经不仅仅是通讯工具,更是人们日常生活中的智能助手。而这一切的背后,离不开芯片技术的不断创新和突破。近日,联发科与阿里云的合作成果——通义千问大模型成功落地天玑9300移动平台,为智能手机端的AI应用开启了新的篇章。

联发科作为全球领先的半导体公司,一直在AI领域进行着不懈的探索和创新。天玑9300作为其旗舰芯片,此次成功部署通义千问大模型,不仅标志着手机端AI技术的重要进步,也为移动设备带来了更高效、更智能的体验。阿里云自研的通义千问大模型,以其18亿、40亿、70亿等不同参数规模的模型,为各类智能终端提供了强有力的AI支持。

此次合作的亮点在于,通义千问大模型能够在天玑9300移动平台上离线流畅运行,实现即时且精准的多轮AI对话应用。这一成果的实现,得益于双方在模型瘦身、工具链优化、推理优化、内存优化、算子优化等多个维度的深度合作。通过高效异构加速,大模型得以在手机芯片中高效运行,实现了从技术验证到商业化落地的重要转变。

通义千问18亿参数开源大模型在天玑9300设备上的表现为业界树立了新的标杆。在推理2048 tokens时,内存占用仅为1.8GB,且CPU占有率仅为30%左右,RAM占用少于2GB,推理速度超过20tokens/秒。这些指标的优异表现,使得通义千问大模型在离线环境下也能流畅地完成多轮AI对话,极大地提升了用户的AI体验。

此外,天玑9300集成的MediaTek第七代AI处理器APU790,其生成式AI处理速度是上一代AI处理器的8倍。这一突破性的提升,不仅为AI智能体及应用的开发提供了更强大的硬件支持,也为AI应用的未来发展打开了新的可能性。

阿里云与MediaTek的合作不仅限于技术层面,双方还宣布启动联合探索AI智能体解决方案计划。该计划旨在整合MediaTek天玑移动平台的AI算力及阿里云通义千问的大模型能力,为开发者和企业提供更完善的软硬联合开发平台。这一举措将有助于推动智能终端在端侧高能效地实现自然语言理解、复杂决策制定以及个性化服务生成,探索打造真正具备情境感知、自主学习和实时交互功能的下一代智能终端应用生态。

通义千问大模型的落地,已经在多个行业和领域展现出其强大的应用潜力。例如,在钉钉、淘宝、一汽红旗、央视网、浙江大学等众多应用、企业及机构中,通义千问已经实现了全新的交互体验以及更精准的推荐服务。阿里云与中国一汽联合打造的大模型应用GPT-BI,能够结合企业数据自动生成分析图表,为企业决策提供有力支持。

然而,尽管通义千问大模型在天玑9300移动平台上取得了显著成果,但仍需注意到,端侧AI的发展仍面临一些挑战。例如,如何在保证AI性能的同时,进一步降低功耗和成本,以及如何确保用户数据的隐私和安全等问题,都是业界需要持续关注和解决的课题。

此外,高通等其他芯片制造商也在积极推动大模型在手机终端的落地。例如,高通最新推出的第三代骁龙8s移动平台,支持100亿参数级别的大语言模型,这也为手机端AI应用的发展提供了更强大的支持。这表明,端侧AI的竞争正在日益激烈,各大厂商都在努力提升自身的技术水平和市场竞争力。

目录
打赏
0
1
1
1
389
分享
相关文章
用AI Agent做一个法律咨询助手,罗老看了都直呼内行 feat.通义千问大模型&阿里云百炼平台
本视频介绍如何使用通义千问大模型和阿里云百炼平台创建一个法律咨询助手AI Agent。通过简单配置,无需编写代码或训练模型,即可快速实现智能问答功能。演示包括创建应用、配置知识库、上传民法典文档、构建知识索引等步骤。最终,用户可以通过API调用集成此AI Agent到现有系统中,提供专业的法律咨询服务。整个过程简便高效,适合快速搭建专业领域的小助手。
248 22
通义灵码与云计算平台的融合:基础与概述
在数字化时代,云计算已成为企业和开发者构建应用的核心基石,其高可用性、可扩展性和成本效益等优势重塑了IT架构。通义灵码作为先进的人工智能代码生成工具,能将自然语言转换为高质量代码,大幅提高开发效率。本文将探讨通义灵码与云计算平台的融合,开启开发新纪元。
通义灵码与云计算平台的融合:基础与概述
基于通义千问32B及RAG技术的CACA指南诊疗规范平台落地实践
本方案整合CACA智能导航系统与基于RAG的大模型医疗问答系统,旨在提供高效、精准的肿瘤诊治支持。通过指南AI导航、知识图谱查询等功能,优化医生诊疗流程,提升患者服务质量,实现医疗资源的有效利用。
136 6
阿里云PAI-EAS:一键部署通义千问模型的理想平台
随着人工智能技术的飞速发展,大语言模型已经成为了AI领域的研究热点。阿里云研发的通义千问大模型系列,尤其是70亿参数规模的Qwen-7B模型,展示了强大的语言理解和生成能力。然而,对于大多数开发者和企业来说,如何高效部署和应用这样的大模型仍然是一个挑战。幸运的是,阿里云模型在线服务(PAI-EAS)为我们提供了一个一键部署通义千问模型的解决方案。
994 2
通义万相:视觉生成大模型再进化
通义万相是阿里云推出的视觉生成大模型,涵盖图像和视频生成。其2.0版本在文生图和文生视频方面进行了重大升级,采用Diffusion Transformer架构,提升了模型的灵活性和可控性。通过高质量美学标准和多语言支持,大幅增强了画面表现力。此外,视频生成方面引入高压缩比VAE、1080P长视频生成及多样化艺术风格支持,实现了更丰富的创意表达。未来,通义万相将继续探索视觉领域的规模化和泛化,打造更加通用的视觉生成大模型。
大模型赋能智能座舱,NVIDIA 深度适配通义千问大模型
9月20日杭州云栖大会上, NVIDIA DRIVE Orin系统级芯片实现了与阿里云通义千问多模态大模型Qwen2-VL的深度适配。阿里云、斑马智行联合NVIDIA英伟达推出舱驾融合大模型解决方案,基于通义大模型开发“能听会看”的智能座舱助理,让车内人员通过语音交流就能操作座舱内的各类应用,享受极致丰富的交互体验。
326 14
通义视觉推理大模型QVQ-72B-preview重磅上线
Qwen团队推出了新成员QVQ-72B-preview,这是一个专注于提升视觉推理能力的实验性研究模型。提升了视觉表示的效率和准确性。它在多模态评测集如MMMU、MathVista和MathVision上表现出色,尤其在数学推理任务中取得了显著进步。尽管如此,该模型仍存在一些局限性,仍在学习和完善中。
智答引领|AnalyticDB与通义千问大模型联手打造社区问答新体验
PolarDB开源社区推出基于云原生数据仓库AnalyticDB和通义千问大模型的“PolarDB知识问答助手”,实现一站式全链路RAG能力,大幅提升查询效率和问答准确率。该系统整合静态和动态知识库,提供高效的数据检索与查询服务,支持多种场景下的精准回答,并持续优化用户体验。欢迎加入钉群体验并提出宝贵意见。
智答引领|AnalyticDB与通义千问大模型联手打造社区问答新体验
千问开源P-MMEval数据集,面向大模型的多语言平行评测集
近期,通义千问团队联合魔搭社区开源的多语言基准测试集 P-MMEval,涵盖了高效的基础和专项能力数据集。
千问开源P-MMEval数据集,面向大模型的多语言平行评测集
GraphRAG:基于PolarDB+通义千问+LangChain的知识图谱+大模型最佳实践
本文介绍了如何使用PolarDB、通义千问和LangChain搭建GraphRAG系统,结合知识图谱和向量检索提升问答质量。通过实例展示了单独使用向量检索和图检索的局限性,并通过图+向量联合搜索增强了问答准确性。PolarDB支持AGE图引擎和pgvector插件,实现图数据和向量数据的统一存储与检索,提升了RAG系统的性能和效果。

热门文章

最新文章

AI助理

你好,我是AI助理

可以解答问题、推荐解决方案等