美团把训练和推理的概率做到逐位相同：分歧藏在一个加法顺序里
本文聚焦训推精度一致性验证：同一权重下，不同并行切分（如TP/DCP）、量化配置或硬件环境是否导致逐token logprob逐位相同。强调不比“容差”，而验“bitwise一致”，为量化上线、混合云部署、多卡扩缩容等场景提供可落地的数值回归方法。
推理服务的监控体系：三层指标与一个金指标
本文为模型工程系列收官篇，聚焦推理服务监控体系。提出三层指标架构：资源层（GPU/显存等）、服务层（QPS/首token延迟等）、质量层（词级差异率、术语命中率等），强调质量层是多数团队缺失的关键。首推“每千token成本”为金指标，融合三层状态。告警推荐环比阈值，落地建议从服务指标+成本起步，再逐步补全质量监控。（239字）
HDFS 三副本放置策略：机架感知的容错权衡
HDFS三副本放置策略是机架感知下的精妙权衡：第一副本本地写（提性能）、第二副本跨机架（保容错）、第三副本落于第二副本同机架（省骨干带宽）。本质是在单机架故障容忍与网络资源约束间的最优解。
推理服务的容量规划：从 QPS 到显存的换算链
本文详解推理服务容量规划核心：突破CPU思维，聚焦显存带宽与容量瓶颈。构建“日请求→峰值QPS→并发→KV Cache→GPU数”换算链，拆解每环关键系数（如4K上下文占0.5GB显存、单卡约20并发），强调量化、batching与冗余实践要点。（239字）
推理服务的灰度发布：金丝雀判据怎么定
本文详解推理服务灰度发布新范式：传统指标（错误率、延迟）无法捕捉模型质量退化。提出三套递进判据——金丝雀集回归（必配）、线上影子对比（重要场景）、用户侧信号（放大期），搭配五步灰度节奏与“或逻辑”回滚机制，强调质量需直接可测、人工盲评须制度化。（239字）
推理服务的输出缓存：KV Cache 复用从原理到实践
本文详解KV Cache复用这一推理性能杠杆：通过共享前缀、多轮会话及重复内容的缓存，实现同资源下吞吐翻倍。涵盖原理、三大场景实测收益、内存预算/失效策略/可观测性三大工程决策，并给出真实配置的30%硬件降本效果。（239字）
模型灰度发布的工程实践：比代码灰度多三个变量
本文详解模型灰度发布的三大特殊性：输出非确定性（需分布级比对）、质量多维性（需客观+主观联合评估）、数据分布漂移（需覆盖全周期分层验证），并给出含影子流量、分阶段放量、组合体灰度的完整流程，强调评测能力是前置基础。（239字）
