在云上构建高效、可扩展的 AI 推理平台，不仅需要应对千亿参数模型的计算复杂度，更需解决高并发、低延迟、动态负载等现实挑战。只有通过科学、贴近业务的压测体系，才能验证平台在真实场景下的极限承载能力。

本期内容将聚焦云上 LLM 推理服务的压测实践，帮助企业和开发者在复杂业务流量下，实现推理性能的精准调优与成本优化，为大规模 AI 应用落地筑牢基础。

阿里云人工智能平台 PAI 的推理服务 PAI-EAS 为 LLM 服务提供专业的压测方案，支持固定并发测试、固定请求速率测试（每秒请求数）、极限吞吐测试等多种模式。服务可根据需求模拟测试数据，帮助用户快速创建压测任务并一键执行。同时，系统可自动生成 TTFT、TPOT、TPS、ITL、E2EL 等核心指标的平均值、中位数及P99数据，全面评估并横向对比 LLM 服务的性能表现，满足从服务调试到性能优化的全链路需求。

PAI-EAS 的压测报告包含基本信息、压测配置、压测结果及压测任务监控等全方位内容。其中压测任务监控指标说明如下：

TTFT（Time To First Token）

请求首包延时。表示从发送请求到接收到服务生成的第一个Token的时间。

TPOT（Time per Output Token）

请求的每包延时。表示服务生成的相邻两个Token的时间间隔。

TPS（Token Per Second）

表示每秒传输的Token数量。

每秒请求数分布

表示服务每秒接收到的请求数量的分布情况。

响应时间分布

表示服务在选定时间范围内返回的响应数量的分布情况。

传输流量分布

表示在选定时间范围内，客户端发送到服务的请求数据量和服务返回给客户端的响应数据量分布情况。

应数量的分布情况。

响应时间区间分布

表示服务返回的响应时间的区间占比，单位为毫秒。

响应时间整体分布

表示不同分位数下，请求的端到端延时，单位为毫秒。

返回状态码分布

表示服务返回状态码的分布情况。

使用方法

1. 登录 PAI 控制台 ，在页面上方选择目标地域，并在右侧选择目标工作空间，然后单击进入 EAS。

2. 切换到压测任务页签，单击添加压测任务。创建时勾选 LLM 服务，从而获取 LLM 场景定制化的压测报告。

压测数据的相关配置

测试模式的相关配置

单击任务名称，查看实时监控数据

在压测任务完成后，即可在详情页中查看开篇提到的完整压测报告。

系列简介：云上 AI 推理平台全掌握

本系列 《云上 AI 推理平台全掌握》 将深度解析阿里云 AI 推理平台的技术架构、最佳实践与行业应用，涵盖以下核心内容：

1. 技术全景：从分布式推理、动态资源调度到 Serverless，揭秘支撑千亿参数模型的底层能力。

2. 实战指南：通过压测调优、成本优化、全球调度等场景化案例，手把手教你构建企业级推理服务。

3. 行业赋能：分享金融、互联网、制造等领域的落地经验，展示如何通过云上推理平台加速 AI 业务创新。

无论您是 AI 开发者、架构师，还是企业决策者，本系列都将为您提供从理论到实践的全方位指导，助力您在 AI 时代抢占先机。让我们一起探索云上 AI 推理的无限可能，释放大模型的真正价值！

立即开启云上 AI 推理之旅，就在阿里云人工智能平台 PAI。