在人工智能技术的飞速发展下,智能手机已经不仅仅是通讯工具,更是人们日常生活中的智能助手。而这一切的背后,离不开芯片技术的不断创新和突破。近日,联发科与阿里云的合作成果——通义千问大模型成功落地天玑9300移动平台,为智能手机端的AI应用开启了新的篇章。
联发科作为全球领先的半导体公司,一直在AI领域进行着不懈的探索和创新。天玑9300作为其旗舰芯片,此次成功部署通义千问大模型,不仅标志着手机端AI技术的重要进步,也为移动设备带来了更高效、更智能的体验。阿里云自研的通义千问大模型,以其18亿、40亿、70亿等不同参数规模的模型,为各类智能终端提供了强有力的AI支持。
此次合作的亮点在于,通义千问大模型能够在天玑9300移动平台上离线流畅运行,实现即时且精准的多轮AI对话应用。这一成果的实现,得益于双方在模型瘦身、工具链优化、推理优化、内存优化、算子优化等多个维度的深度合作。通过高效异构加速,大模型得以在手机芯片中高效运行,实现了从技术验证到商业化落地的重要转变。
通义千问18亿参数开源大模型在天玑9300设备上的表现为业界树立了新的标杆。在推理2048 tokens时,内存占用仅为1.8GB,且CPU占有率仅为30%左右,RAM占用少于2GB,推理速度超过20tokens/秒。这些指标的优异表现,使得通义千问大模型在离线环境下也能流畅地完成多轮AI对话,极大地提升了用户的AI体验。
此外,天玑9300集成的MediaTek第七代AI处理器APU790,其生成式AI处理速度是上一代AI处理器的8倍。这一突破性的提升,不仅为AI智能体及应用的开发提供了更强大的硬件支持,也为AI应用的未来发展打开了新的可能性。
阿里云与MediaTek的合作不仅限于技术层面,双方还宣布启动联合探索AI智能体解决方案计划。该计划旨在整合MediaTek天玑移动平台的AI算力及阿里云通义千问的大模型能力,为开发者和企业提供更完善的软硬联合开发平台。这一举措将有助于推动智能终端在端侧高能效地实现自然语言理解、复杂决策制定以及个性化服务生成,探索打造真正具备情境感知、自主学习和实时交互功能的下一代智能终端应用生态。
通义千问大模型的落地,已经在多个行业和领域展现出其强大的应用潜力。例如,在钉钉、淘宝、一汽红旗、央视网、浙江大学等众多应用、企业及机构中,通义千问已经实现了全新的交互体验以及更精准的推荐服务。阿里云与中国一汽联合打造的大模型应用GPT-BI,能够结合企业数据自动生成分析图表,为企业决策提供有力支持。
然而,尽管通义千问大模型在天玑9300移动平台上取得了显著成果,但仍需注意到,端侧AI的发展仍面临一些挑战。例如,如何在保证AI性能的同时,进一步降低功耗和成本,以及如何确保用户数据的隐私和安全等问题,都是业界需要持续关注和解决的课题。
此外,高通等其他芯片制造商也在积极推动大模型在手机终端的落地。例如,高通最新推出的第三代骁龙8s移动平台,支持100亿参数级别的大语言模型,这也为手机端AI应用的发展提供了更强大的支持。这表明,端侧AI的竞争正在日益激烈,各大厂商都在努力提升自身的技术水平和市场竞争力。