伴随着新一轮AI浪潮,千行百业正在加速智能化创新,阿里云积极响应国家“人工智能+”行动,持续加大AI基础设施投入,推动模型开源和AI普及。截至目前,阿里云已集成包括DeepSeek和Qwen在内的两百多款主流大模型。
在各行各业愈加注重科技创新,关注数据安全、稳定可靠、成本效率的需求下,阿里云首次推出“百炼专属版AI训推一体机”,通过软硬一体私有化部署,确保数据不出域,全面满足用户数据安全和行业合规要求,为AI创新提供坚实可靠的大模型技术底座。
四大优势,助力AI更普惠
1、超强算力,灵活部署
阿里云百炼专属版AI训推一体机,单机16卡轻量部署,即可全面支持全精度16/8/4bit下高并发满血版DeepSeek-R1/V3,拥有训推一体机、智能体一体机、高性能一体机三种配置模式,可以根据使用需求灵活选择,全面满足大模型训推、智能体应用、高性能极致训推需求。初始内置百炼专属版训推平台,通过简单易用的图形化界面进行管理,降低运维管理成本,更低投入更快启动AI创新!
2、更大吞吐,更低延迟
基于超强算力支持,阿里云百炼专属版AI训推一体机,可以提供高精度下更大吞吐量和用户并发保障,BF16精度下8K+Tokens输入,每秒解析延迟保持在50毫秒,实现更长的窗口、更低的延迟。确保大数据量下的数据处理更高效,应对各类使用场景,更加游刃有余!低延迟让用户响应更及时,大幅缩短等待时间,使用体验更优!
3、极致加速,训推提效
阿里云百炼专属版AI训推一体机不仅仅关注性能,在训推提效方面也深入探究,内置自研的OpenTrek-LLM大型语言模型推理引擎,该项技术能够将GPU的性能发挥到极致水平,创新的技术架构、算力调度、训推管理等,让大模型训推更加高效,实测数据相比开源vLLM版本可提升吞吐50%,延时降低一半。
4、全栈工具,开箱即用
从模型部署,到上手应用,往往是摆在用户面前的第一个难题。阿里云百炼专属版AI训推一体机,预置数据知识处理+蒸馏微调训练+智能体搭建一体工具链与应用模版,拥有知识库、智能体搭建、智能体编排、插件&模板市场、模型评测等核心能力,为用户定制化大模型提供全链路开发工具,更快速基于自身业务场景量身打造大模型应用,加速业务创新!
AI·向新,加速产业创新应用
在中国AI发展的壮阔征程中,技术创新者始终是推动行业前行的核心力量,DeepSeek、Qwen等大模型创新的出现无疑为这片热土注入了全新的活力。此次阿里云全新发布“百炼专属版AI训推一体机”,通过融合“算力+训推+大模型平台”技术及软硬一体方案,全面降低算力投入和开发周期,加速场景化落地。面向未来,阿里云也将链接更多行业、产业与生态伙伴,共同推进“AI·向新”,通过开放合作与生态共建,让更多优秀的基础模型、模型插件等接入百炼专属版,助力人工智能技术与各行各业融合发展,为新质生产力发展提供新动能。
/ END /