云上AI推理平台全掌握 (4):大模型分发加速

本文涉及的产品
模型在线服务 PAI-EAS,A10/V100等 500元 1个月
模型训练 PAI-DLC,100CU*H 3个月
交互式建模 PAI-DSW,每月250计算时 3个月
简介: 为应对大模型服务突发流量场景,阿里云人工智能平台 PAI 推理服务 PAI-EAS 提供本地目录内存缓存(Memory Cache)的大模型分发加速功能,有效解决大量请求接入情况下的推理延迟。PAI-EAS 大模型分发加速功能,零代码即可轻松完成配置。

当大模型推理服务遭遇突发流量,扩容往往慢在“最后一分钟”:新实例扩缩容过程中,仍需从存储系统上拉取数十乃至上百 GB 的模型或数据,网络 IO 成为瓶颈。当突发流量来临时,这种延迟会导致自动扩缩容机制失效,算力在等待模型加载的过程中持续闲置,而客户请求已在接入层大量堆积。另外在多模态 AIGC 生成的场景中,推理请求会涉及到频繁切换基础模型和 lora 模型,每次切换都需从存储系统回源读取模型,导致推理延迟大幅增加。


为了解决这个问题,阿里云人工智能平台 PAI 推理服务 PAI-EAS 提供本地目录内存缓存(Memory Cache)的大模型分发加速功能,有效应对大模型服务突发流量场景。


一、大模型分发加速实现原理


PAI-EAS 大模型分发加速功能具体实现原理如下图所示:

图1.png

  • 利用空闲内存将本地目录中的模型文件缓存到内存中。
  • 该缓存支持 LRU 淘汰策略和实例间共享,以文件系统目录形式呈现。
  • 无需修改业务代码,直接读取缓存配置的目标本地目录中的文件,即可享受加速效果。
  • 同一服务的不同实例会形成 p2p 网络,实例扩容时可通过 p2p 网络就近读取缓存文件,加速扩容速度。


二、模型切换加速效果


实验数据表明,使用 PAI-EAS 大模型分发加速功能后,模型切换加速效果如下图所示。(注:单位为秒,下表为实验结果,最终的加速效果以实际情况为准。)


图2.png

  • 当缓存中没有对应的模型时,大模型缓存加速会自动回源读取模型。如该文件通过 OSS 挂载,则大模型缓存加速会从 OSS 拉取文件。
  • 服务内的多个实例会形成内存共享集群,加载相同模型时直接从远端内存拉取,读取时间与文件大小呈线性相关。
  • 服务扩容时,新实例会加入内存共享集群,初始化模型可直接从远端读取,弹性扩缩容更快,适合弹性场景。


二、使用方法


1. 登录 PAI 控制台 https://x.sm.cn/CHmCjAd,在页面上方选择目标地域,并在右侧选择目标工作空间,然后单击进入 EAS


2. 在推理服务页签,单击部署服务,选择自定义模型部署> 自定义部署


3. 在服务功能的区域,进行内存缓存加速的相关配置。

图3.png

图4.png

PAI 同时发布了模型权重服务能力,可以大幅度降低 LLM 场景下的推理服务冷启动与扩容时长。详见链接:PAI 重磅发布模型权重服务,大幅降低模型推理冷启动与扩容时长


系列简介:云上AI推理平台全掌握


本系列 《云上 AI 推理平台全掌握》 将深度解析阿里云 AI 推理平台的技术架构、最佳实践与行业应用,涵盖以下核心内容:


1. 技术全景:从分布式推理、动态资源调度到 Serverless,揭秘支撑千亿参数模型的底层能力。


2. 实战指南:通过压测调优、成本优化、全球调度等场景化案例,手把手教你构建企业级推理服务。


3. 行业赋能:分享金融、互联网、制造等领域的落地经验,展示如何通过云上推理平台加速 AI 业务创新。


无论您是 AI 开发者、架构师,还是企业决策者,本系列都将为您提供从理论到实践的全方位指导,助力您在 AI 时代抢占先机。让我们一起探索云上 AI 推理的无限可能,释放大模型的真正价值!


立即开启云上 AI 推理之旅,就在阿里云人工智能平台 PAI。

相关实践学习
使用PAI+LLaMA Factory微调Qwen2-VL模型,搭建文旅领域知识问答机器人
使用PAI和LLaMA Factory框架,基于全参方法微调 Qwen2-VL模型,使其能够进行文旅领域知识问答,同时通过人工测试验证了微调的效果。
机器学习概览及常见算法
机器学习(Machine Learning, ML)是人工智能的核心,专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能,它是使计算机具有智能的根本途径,其应用遍及人工智能的各个领域。 本课程将带你入门机器学习,掌握机器学习的概念和常用的算法。
相关文章
|
9天前
|
人工智能 自然语言处理 搜索推荐
AI Compass前沿速览:Qoder Agentic编程、vivo Vision头显、AIRI桌面伴侣、RM-Gallery奖励模型平台
AI Compass前沿速览:Qoder Agentic编程、vivo Vision头显、AIRI桌面伴侣、RM-Gallery奖励模型平台
AI Compass前沿速览:Qoder Agentic编程、vivo Vision头显、AIRI桌面伴侣、RM-Gallery奖励模型平台
|
11天前
|
人工智能 算法 开发者
开源VLM“华山论剑”丨AI Insight Talk多模态专场直播预告
开源VLM“华山论剑”丨AI Insight Talk多模态专场直播预告
103 10
开源VLM“华山论剑”丨AI Insight Talk多模态专场直播预告
|
13天前
|
人工智能 自然语言处理 机器人
智能体平台哪家值得选?盘点国内外12家AI Agent平台技术特色
智能体平台正引领人机协作新潮流,将“智能”交给机器,让“平台”服务于人。2024年被Gartner定义为“AgenticAI元年”,预示未来企业交互将由智能体主导。面对百余平台,可从三条赛道入手:通用大模型、RPA升级派与垂直场景定制。不同需求对应不同方案,选对平台,才能让AI真正助力工作。
|
20天前
|
存储 人工智能 算法
AI测试平台实战:深入解析自动化评分和多模型对比评测
在AI技术迅猛发展的今天,测试工程师面临着如何高效评估大模型性能的全新挑战。本文将深入探讨AI测试平台中自动化评分与多模型对比评测的关键技术与实践方法,为测试工程师提供可落地的解决方案。
|
2月前
|
消息中间件 人工智能 资源调度
云上AI推理平台全掌握 (5):大模型异步推理服务
针对大模型推理服务中“高计算量、长时延”场景下同步推理的弊端,阿里云人工智能平台 PAI 推出了一套基于独立的队列服务异步推理框架,解决了异步推理的负载均衡、实例异常时任务重分配等问题,确保请求不丢失、实例不过载。
|
15天前
|
人工智能 安全 测试技术
RidgeBot 5.4.5 - 基于 AI 的主动安全验证平台
RidgeBot 5.4.5 - 基于 AI 的主动安全验证平台
72 2
RidgeBot 5.4.5 - 基于 AI 的主动安全验证平台
|
18天前
|
数据采集 人工智能 自然语言处理
让AI读懂代码需求:模块化大模型微调助力高效代码理解与迁移
本文介绍了一种解决开源项目代码升级中“用户需求关联相应代码”难题的创新方法。面对传统Code RAG和Code Agent在召回率、准确率和稳定性上的不足,以及领域“黑话”和代码风格差异带来的挑战,作者团队提出并实践了一套以大模型微调(SFT)为核心的解决方案。
202 21
|
2月前
|
机器学习/深度学习 人工智能 自动驾驶
AI Agent多模态融合策略研究与实证应用
本文从多模态信息融合的理论基础出发,构建了一个结合图像与文本的AI Agent模型,并通过PyTorch代码实现了完整的图文问答流程。未来,多模态智能体将在医疗、自动驾驶、虚拟助手等领域展现巨大潜力。模型优化的核心是提升不同模态的协同理解与推理能力,从而打造真正“理解世界”的AI Agent。
AI Agent多模态融合策略研究与实证应用
|
2月前
|
机器学习/深度学习 负载均衡 C++
MoR vs MoE架构对比:更少参数、更快推理的大模型新选择
本文将深入分析递归混合(MoR)与专家混合(MoE)两种架构在大语言模型中的技术特性差异,探讨各自的适用场景和实现机制,并从架构设计、参数效率、推理性能等多个维度进行全面对比。
146 0
MoR vs MoE架构对比:更少参数、更快推理的大模型新选择