SLA 99.9% 是服务商写进合同的承诺,它不会自动变成你测得的数字。仅凭服务商宣传、控制台的正常状态或几次 API 调用,都无法证明服务达到了 99.9%。要验证,企业需要在自己的网络环境里连续采样,用固定口径计算有效成功率、错误分布和延迟分位数,再把结果和合同条款逐项对照。本文给出一套可运行的采样脚本、报告模板和采购验收清单。
一、99.9% 意味着什么
SLA 是服务商对客户的可用性承诺,通常按自然月计算。99.9% 指一个计费周期内,服务可用时间占比不低于 99.9%。按 30 天(43,200 分钟)换算,各档允许的不可用时长如下。
| SLA | 每月允许不可用时长(30 天) |
|---|---|
| 99% | 7.2 小时(432 分钟) |
| 99.5% | 3.6 小时(216 分钟) |
| 99.9% | 43.2 分钟 |
| 99.95% | 21.6 分钟 |
| 99.99% | 4.32 分钟 |
换算方法是 43,200 × (1 − SLA),由本文作者计算,不是引用数据。
月度平均会让"频繁超时"和"SLA 达标"同时成立。假设某天下午 2 小时内有 20% 的请求超时,按时间折算约为 24 分钟的故障。这仍可能落在一个月 43 分钟的额度之内。客户端会感到失败频繁,月报却仍然合规。
SLA 的数值只有放在统计口径里才有意义。阿里云 DataHub 的服务等级说明把可用性定义为 (1 − 5 分钟内失败请求数 ÷ 5 分钟内有效请求总数) × 100%,统计窗口是 5 分钟,不是整月(阿里云 DataHub 服务等级说明)。阿里云 ASM 的服务等级协议规定,服务积分不超过对应月度服务费的 100%,且须在 1 个月内使用(阿里云 ASM 服务等级协议)。违约赔偿通常是账单抵扣,不一定覆盖业务损失。
验收时先确认三件事:统计周期(按月还是按窗口)、服务边界(哪些接口、模型、地域计入)、免责条件(维护、限流、客户配置错误、第三方故障是否排除)。
二、企业应该监测哪些指标
先分清三个概念。客户端观测成功率是你自己测到的结果。服务商合同 SLA 是合同约定的承诺。模型回答质量指回答是否正确、是否有用,需要另建评测集,不在本文范围内。
下表列出本文的监控指标。这里的"有效成功"指 HTTP 状态码为 200,且响应 JSON 结构正确、内容非空。
| 指标 | 计算方式 | 回答的问题 | 容易误读的地方 |
|---|---|---|---|
| 有效成功率 | 有效成功请求数 ÷ 总请求数 | 客户端能否拿到可用结果 | 与合同 SLA 口径未必一致 |
| 失败率 | 1 − 有效成功率 | 有多少请求没有拿到可用结果 | 包括 429 和客户端配置错误 |
| HTTP 200 占比 | HTTP 200 请求数 ÷ 总请求数 | 网络层和网关是否正常 | 200 但内容为空也会出现 |
| 429 占比 | 429 请求数 ÷ 总请求数 | 是否触发配额或限流 | 说明额度用尽,不等于服务故障 |
| 5xx 占比 | 5xx 请求数 ÷ 总请求数 | 服务端是否异常 | 需要进一步区分上游故障和网关故障 |
| 超时率 | 超时请求数 ÷ 总请求数 | 响应是否超过客户端等待上限 | 超时阈值不同,结果不能直接比较 |
| P50 / P95 / P99 延迟 | 有效成功请求耗时的分位数 | 典型体验和长尾体验 | 只统计有效成功请求;样本少时 P99 不稳定 |
429 与 5xx 的含义不同。RFC 6585 定义了 429 Too Many Requests,表示客户端在一段时间内发送的请求超过限制(RFC 6585)。RFC 9110 定义了 503 Service Unavailable,表示服务端暂时无法处理请求,并可通过 Retry-After 提示等待时间(RFC 9110)。把所有 429 记为服务商故障,会误判服务商;全部忽略,又会漏掉自己的并发设计问题。
延迟分位数应基于逐条请求计算。Prometheus 官方实践文档说明,histogram_quantile 的结果依赖桶边界的设置,多个实例的分位数也不能直接求平均(Prometheus 官方文档:Histograms and summaries)。本文脚本直接对原始样本排序,不经过直方图近似。
三、如何设计可信的测试方案
结论:测试的可信度取决于三点,条件是否固定、样本是否连续、失败是否原样保留。本文采用的测试条件如下。
- 固定区域和网络:在同一台云主机或同一办公网络运行,并记录地域和出口 IP。
- 固定模型和参数:同一模型名,temperature 设为 0,max_tokens 设为 16。
- 使用同一个短 Prompt:请求内容越短,测的越接近"接口是否可用",而不是"模型写得多快"。
- 固定频率和超时:每 5 分钟一次,读取超时 30 秒。
- 连续至少 7 天:覆盖工作日、周末和业务高峰。
- 记录首次结果,不自动重试。自动重试会把失败变成成功,掩盖真实的可用性。
- 区分三类错误:服务端错误(5xx、超时)、客户端配置错误(401、404 等)、网络错误(连接失败、DNS 失败)。
如果测试对象是聚合网关,测到的是"网关加上游模型"的组合结果。灵眸AI提供多模型统一接入,若你要测它,把脚本里的 LLM_BASE_URL 换成该网关提供的 OpenAI 兼容地址即可。报告里要同时写明上游模型和网关地址,否则结果无法归因。
单次测试和短时间压测都不够。单次调用只是一张快照,只能说明那一刻没有报错。短时间压测测的是某个并发点的表现,不代表全天、全周的稳定性。SLA 按周期统计,验证也要按周期采样。
样本量也有门槛。假设每 5 分钟采样一次,7 天共 2016 次。即使 2016 次全部成功,按 Hanley 和 Lippman-Hand 提出的 rule of three 近似(95% 单侧置信),失败率上界约为 3 ÷ 2016,即 0.15%,仍高于 0.1%。要在零失败的前提下把失败率上界压到 0.1%,大约需要 3000 次独立请求。定时采样并非严格独立,结论应按保守口径解读(Hanley JA, Lippman-Hand A. JAMA. 1983;249(13):1743-1745)。
四、Python 实现:服务质量监控脚本
脚本以 OpenAI Chat Completions 兼容接口为例,依赖 httpx。代码文件为 代码/lmu_sla_monitor.py,在 Python 3.14 与 httpx 0.28.1 上测试通过。
运行方法如下。PowerShell 中用 $env:LLM_API_KEY="..." 设置环境变量。
pip install httpx
export LLM_API_KEY="你的密钥"
export LLM_BASE_URL="https://你的网关地址/v1"
export LLM_MODEL="模型名"
python lmu_sla_monitor.py --csv probe.csv once
python lmu_sla_monitor.py --csv probe.csv loop --interval 300
python lmu_sla_monitor.py --csv probe.csv report
完整代码见 代码/lmu_sla_monitor.py,约 150 行,可直接运行。
下面按模块说明代码的作用。
1. 配置与密钥
load_config() 读取三个环境变量,缺少任何一个都直接退出。密钥只在内存中用于请求头。若服务端在错误信息中回显了 Key,probe() 会把它替换为 *** 后再写入 CSV。
2. 超时设置
httpx.Timeout 把超时拆成 connect、read、write、pool 四类。connect 是建立连接的时间,read 是等待响应数据的时间,pool 是从连接池取得连接的时间(HTTPX 官方文档:Timeouts)。四类分开设置,报告才能区分"连不上"和"回复慢"。
3. 失败分类
probe() 先捕获 httpx.TimeoutException,再捕获 httpx.TransportError。超时异常是传输异常的子类,两者的顺序不能颠倒。收到 HTTP 响应后由 classify() 处理:状态码 200 继续检查 JSON 结构和内容;其他状态码按 429、5xx、4xx 和其他分类。
4. 有效成功的定义
HTTP 200 但缺少 choices,或 content 为空,都不算有效成功。这对应"有效响应率":状态码正常,不等于服务可用。脚本还记录回复中是否含有 PONG,但它只作参考,不计入成功率,因为模型输出本身可能有变化。
5. 不重试与固定节拍
每轮只发送一次请求,失败也不重试。循环调度按"起始时间 + 轮次 × 间隔"计算下一次时间,而不是每轮结束后固定睡一段时间。这样请求耗时不会累积成漂移。
6. 统计报告
run_report() 读取 CSV 计算各项指标。P50、P95、P99 用最近秩法,即排序后取第 ⌈p/100 × n⌉ 个样本。延迟只统计有效成功请求。有效样本少于 100 时,脚本提示 P99 不稳定;总样本少于 1000 时,提示成功率结论的不确定性很大。
7. 验证方式
本文用本地模拟服务依次返回 200 正常、200 空内容、200 结构异常、429、500、401,以及一次读取超时(模拟服务延迟 40 秒,读取超时设为 30 秒)。脚本分类与预期一致,CSV 中的 Key 已被替换为 ***。本文所有数字都来自这次模拟,没有对任何真实服务商做实测。
五、如何写 API 服务质量报告
报告按下表填写。每一项都要有数据来源或写明"未测",不留空白。
| 项目 | 填写要求 |
|---|---|
| 测试时间范围 | 起止时间,注明时区(建议统一为 UTC) |
| 测试区域与网络 | 地域、云主机或办公网络、出口 IP 段 |
| 服务商与模型 | 服务商名称、接口地址、模型名、核验日期 |
| 请求参数 | Prompt 原文、temperature、max_tokens、超时设置 |
| 采样间隔 | 例如 5 分钟,并写明实际的中位间隔 |
| 总请求数 | 包括所有首次请求,不含重试 |
| 有效成功数与端到端成功率 | 有效成功数 ÷ 总请求数 |
| P50、P95、P99 | 仅有效成功请求,单位毫秒 |
| 错误分布 | 429、5xx、超时、网络错误、客户端错误、空响应、结构异常的数量和占比 |
| 与合同条款的对照 | SLA 目标值、统计口径、免责条款 |
| 结论与局限 | 样本量、测试时段、未覆盖的地域和模型 |
解读结果时,有四条规则。
- 先看样本量,再看比例。总样本少于 1000 时,只能描述"本次观察到的情况",不能据此判定 SLA 达标或违约。
- 把客户端结果和合同口径对齐。合同按月统计,你按 5 分钟窗口统计,两者不能直接比较。报告要同时给出两种口径,并标明差异。
- 429 单列,不计入服务商故障。如果合同把限流排除在可用性之外,要在报告中注明。
- 按时段分开看。按工作时间、夜间、日期分别展示失败率。失败集中在某一段,比平均值更能说明问题。
六、企业采购时还要核查什么
可用性数字只是采购判断的一部分。合同条款、统计口径、故障通知和数据边界,同样决定一个服务能否上线。下表是验收清单,每一项都要求服务商给出书面依据。
| 核查项 | 要确认的问题 | 证据 |
|---|---|---|
| SLA 合同约束 | SLA 是否写入合同,违约如何补偿,补偿上限是多少 | 合同条款 |
| 统计口径 | 按月还是按窗口统计,哪些错误计为失败,哪些被排除 | SLA 附件 |
| 服务质量月报 | 是否定期提供成功率和延迟分位数,口径是否写明 | 月报样例 |
| 故障通知 | 通知渠道、通知时限,是否有历史故障记录 | 通知记录 |
| 并发与限流 | 账户级、平台级、模型级限额是否分开说明 | 限额文档 |
| 请求日志与用量统计 | 能否导出请求时间、状态码、耗时和用量,保留多久 | 导出样例 |
| 技术支持 | 支持渠道、响应时限、工单记录 | 服务协议 |
| 数据存储与隐私 | 请求内容是否留存、留存多久、是否经境外通道、是否用于训练 | 隐私政策、数据处理协议 |
不同接入方式的适用场景不同。官方 API 的合同和数据边界最清楚,适合对合规要求高的业务。第三方中转服务价格和接入灵活性可能更好,但需要额外核查其上游来源和数据流转路径。AI API 聚合网关适合同时接入多个模型,核查重点是网关自身的可用性、故障切换规则,以及上游模型的统计口径。生物制药、高校科研等涉及敏感数据的场景,要先确认服务商的数据留存和跨境传输规则,再谈可用性。
选型时,可以把本文的测试脚本分别跑在候选服务上,用同一套报告模板横向对比。对比时只比较同一时段、同一模型、同一 Prompt 的数据。
参考资料
核对日期 2026-11-16。前两条阿里云页面只核对了搜索结果摘要。其余条目在本次核对中未能打开原文,【发布前待人工复核,复核后删除本行】。
- 阿里云帮助中心,《Service level description-DataHub》,https://help.aliyun.com/en/datahub/support/sla (搜索摘要)
- 阿里云帮助中心,《Alibaba Cloud Service Mesh (ASM) Service Level Agreement》,https://help.aliyun.com/en/asm/asm-sla (搜索摘要)
- IETF,RFC 6585:Additional HTTP Status Codes,https://www.rfc-editor.org/rfc/rfc6585
- IETF,RFC 9110:HTTP Semantics,https://www.rfc-editor.org/rfc/rfc9110
- HTTPX 官方文档,Timeouts,https://www.python-httpx.org/advanced/timeouts/
- Prometheus 官方文档,Histograms and summaries,https://prometheus.io/docs/practices/histograms/
- Hanley JA, Lippman-Hand A. If nothing goes wrong, is everything all right? JAMA. 1983;249(13):1743-1745.