一、白盒监控的盲区
白盒监控(Node Exporter、APM、日志、Trace)回答的是:
“服务器自己觉得它活得好不好”
但它看不到这几类问题:
- DNS 解析到死 IP / 被劫持
- CDN 边缘回源异常,源站正常但用户 503
- TLS 证书过期、握手失败
- 防火墙/安全组误拦某地域运营商
- SLB 配置错,内网健康但外网不通
这类故障的特征是:内部指标全绿,用户侧已炸。
拨测补的是另一句话:
“真实用户从外面敲这个地址,到底通不通、多快、返回什么”
二、拨测本质:黑盒 + 主动 + 多地域
拨测(Synthetic Monitoring)三要素:
- 主动:按固定频率发起,不依赖真实流量
- 黑盒:不关心内部实现,只验证外部行为
- 分布:从多地域/多运营商节点发请求
常见探测类型:
类型 |
测什么 |
典型场景 |
ICMP |
裸连通、延迟、丢包 |
网络层基线 |
TCP |
端口是否监听 |
数据库/Redis/网关 |
DNS |
解析结果、TTL、劫持 |
域名层故障 |
HTTP |
状态码、耗时、关键词、跳转 |
网站/API |
TLS |
证书链、剩余天数 |
防证书过期事故 |
三、自建设计:Prometheus + Blackbox Exporter
1. blackbox.yml 配置(核心模块)
yaml
modules: http_2xx: prober: http timeout: 5s http: method: GET follow_redirects: true valid_status_codes: [200, 201, 204] preferred_ip_protocol: ip4 http_keyword: prober: http timeout: 5s http: method: GET fail_if_body_not_matches_regexp: - "维护中|502 Bad Gateway" tcp_connect: prober: tcp timeout: 3s dns_a: prober: dns dns: query_name: "example.com" query_type: "A"
2. Prometheus 拉取配置
yaml
scrape_configs: - job_name: 'blackbox' metrics_path: /probe params: module: [http_2xx] static_configs: - targets: - https://example.com/health - https://api.example.com/ping relabel_configs: - source_labels: [__address__] target_label: __param_target - source_labels: [__param_target] target_label: instance - target_label: __address__ replacement: blackbox-exporter:9115
关键指标:
probe_success:1/0 通不通probe_duration_seconds:总耗时probe_ssl_earliest_cert_expiry:证书过期时间probe_http_duration_seconds:DNS/TCP/TLS/TTFB 分阶段耗时
四、多节点共识:别被“单点抖动”骗去告警”
单探测节点自己网络抖,会误判“全网宕机”。
实践原则:
- 至少 3 个地域节点(如华北、华东、新加坡)
- 判定逻辑:多数节点连续失败才升故障
- 单点失败 → 标记 Suspect,不 page
- 恢复需连续 N 次成功,避免抖动恢复告警
伪逻辑:
text
if 失败节点数 >= 节点总数/2 且 持续2个周期: 触发 P1 else if 单地域失败: 触发地域级事件(不叫醒 oncall)
五、和阿里云云监控拨测或KKCE怎么结合
如果不想全自建,云监控“站点监控/网络分析与监控”可以直接:
- 选多地域运营商节点
- 配 HTTP/DNS/TCP/TLS 多步探测
- 断言状态码、响应体关键词、证书剩余天数
- 多步串联:DNS → TCP → TLS → HTTP
适合:
- 没精力维护 Exporter
- 要快速看“用户侧真实体验”
- 出海业务看新加坡/香港/欧美节点
自建有自建的好处:能探内网、能接 Prometheus、能写复杂断言。
六、告警收敛:别把拨测做成轰炸机
拨测最容易翻车的是告警风暴。
收敛规则:
- 同故障按
服务+地域+协议聚合 - 连续失败 2–3 次再通知(别一次超时就 page)
- 恢复发“恢复通知”,别只发失败
- 维护期用静默标签抑制
- 拨测失败 + 白盒正常 → 网络/CDN 问题
拨测失败 + 白盒也红 → 应用问题
Grafana 里建议分三块面板:
- 可用性(probe_success)
- 体验(TTFB / 总耗时)
- 证书(剩余天数)
七、把拨测接进故障定界
传统拨测只回答“不通”,进阶做法是接 APM Trace:
text
拨测节点失败 ├─ DNS 阶段慢 → DNS 服务商问题 ├─ TCP 建连慢 → 防火墙/SLB/安全组 ├─ TLS 握手慢 → 证书/OCSP/回源 ├─ HTTP TTFB 慢 → 应用或数据库 └─ 状态码错 → 业务层/灰度/网关
这样拨测不是“又一套监控”,而是故障定界入口。
八、最小落地清单(可直接抄)
- [ ] 公网:HTTP 探 /health、/api/ping
- [ ] 公网:DNS 探核心域名
- [ ] 公网:TLS 证书剩余 < 15 天告警
- [ ] 内网:TCP 探 5432/6379/消息队列
- [ ] 多地域:至少 3 个探测点
- [ ] 断言:状态码 + 关键词(防“200 但返回维护页”)
- [ ] 告警:多数节点失败才 P1,单点只记录
- [ ] 面板:可用率、TTFB、证书倒计时
- [ ] 演练:主动关 SLB 后端,验证拨测先响
九、总结
拨测不是“高级 ping”,也不是重复造监控。
它的唯一不可替代价值是:
在用户投诉之前,站在用户位置先敲一次门。
白盒看“为什么坏”,拨测看“是不是真坏了”。
两套一起跑,监控才闭环。