排查埋点时,希望在监控图上按事件ID查到每次投递,很容易把 event_id、user_id、请求地址都加成标签。短期看筛选很方便,长期却可能把聚合监控变成另一份高成本事件明细。
常规时序标签应描述可控的分组,而不是每一条事件或每一个人。单条追踪交给受控的事件记录或诊断日志,吞吐、失败和延迟分布交给聚合指标,二者通过明确的排错流程衔接。
一、标签组合不是免费的筛选条件
Prometheus 的数据模型说明,指标名和标签集合标识一条时序;标签值变化会形成不同的时序。命名实践也明确不建议把用户ID、邮箱等无界取值作为标签。
标签基数问题并不只发生在 user_id。带查询参数的完整URL、任意异常文本、外部输入的事件名、批次ID或请求ID,都可能不断产生新组合。
即使一个维度取值有限,与其他维度组合后仍需评估总量。不能只数“我们只加了五个标签”,而要数这些标签能形成多少种不同组合。
二、先做预算,再决定哪些维度进入指标
用一个纯合成预算说明:假设阶段有4种、结果有3种、受控客户端类别有5种,那么这些维度最多有60种组合。若再加入每批都不同的标识,组合数量就不再由这三个固定集合约束。
60只是上述假设的算术结果,不是容量推荐、产品配额或实际活跃时序测量值。真实序列数还会受指标数量、实例、环境、保留期及具体实现影响。
建议逐项写清:
- 这个维度回答哪个告警或排错问题。
- 取值集合由谁控制,能否被用户输入无限扩展。
- 未知值、缺失值和新版值如何归类。
- 与其他维度组合后的预算以及观察方法。
- 超预算时由谁处置,是否降维、限制或调整保留策略。
Prometheus 的埋点实践提醒,每个标签集合都有资源成本。本文不提供一个脱离负载与部署条件的“绝对安全数量”。
三、事件明细和聚合指标分别保存什么
聚合指标可以按受控客户端类别、处理阶段和有限结果类别统计,让人先发现哪一段异常。错误原因宜用稳定类别,不直接把整段异常文本、载荷或令牌塞进标签。
事件级诊断可以在权限、脱敏和保留期约束下保存必要关联标识、阶段、时间及有限错误类别。只采集排错所需信息,不因为它是日志就放宽个人信息和秘密的保护要求。
OpenTelemetry 的指标概念将指标描述为运行时测量的聚合,并说明基数及溢出处理;日志概念则强调事件记录的上下文与结构。不同SDK、后端和版本的限制需要分别核对,不能把某个默认值当成所有部署的承诺。
四、未知值不能悄悄变成新标签
假设客户端送来一个未登记的事件名。如果监控直接用原始值作标签,任何拼写错误或恶意输入都可能扩大取值集合。
可以在监控层把它归入受控的“未知类别”,同时在受限诊断链路保存必要线索。这样会失去该指标中每个原始值的细分能力,应明确记录取舍,而不是声称所有原始信息仍完整保留。
“未知”“缺失”和“处理失败”也不是一回事。统计时应保留区分,避免过滤未知值之后把已知类别的成功率算得更高。
五、发布前做五项合成验收
- 连续注入不同事件ID:相同分组条件下,不因ID改变而新增常规时序。
- 注入大量不同原始事件名:未知输入按策略归类,不直接扩展标签字典。
- 修改单条异常文本:稳定错误类别不随文本、堆栈或地址变化。
- 产生失败与成功:确认失败计数和对应尝试分母采用同一阶段、时间和范围。
- 超过预设基数预算:观察实际限制与诊断行为,不把被丢弃或聚合的属性当成完整明细。
这些是测试设计,不是已执行的压力测试,也不是现成 PromQL 或产品原生指标名称。最终验收记录应附实际时序数量、采样时间与配置,不能只写“监控图能显示”。
本文由 SensorFlow 项目维护方编写,使用 AI 辅助整理并核对资料。SensorFlow 接入文档可用于核对自托管接收链路;合成 Demo 免许可证,真实 SDK 载荷接收需商业许可证。本文不表示产品内置了 Prometheus 或 OpenTelemetry 指标集成。