概述
在分析 K8S 集群问题时，Kubernetes Events 是超级有用的。
Kubernetes Events 可以被当做是日志来处理，格式也和日志很像，都包括：
- 时间
- 组件
- 原因
- …
但是，Kubernetes 默认只持久化了一个小时的事件，以减少 etcd 的负载。所以，考虑利用 Loki 存储和查询这些 Events。
实现
看过 我之前的文章 的可以知道，kubernetes-event-exporter 可以实现对 Kubernetes Events 的收集。
那我们就利用 kubernetes-event-exporter, 通过最简单的 stdout 方式来输出 json 格式的 event.
另外，再利用 Promtail 的 管道配置 ，将 NameSpace 作为附加标签添加到导出到 Loki 的日志中。
kubernetes-event-exporter 配置
如下：
logLevel: error logFormat: json trottlePeriod: 5 route: routes: - match: - receiver: "dump" receivers: - name: "dump" stdout: { } YAML |
Promtail 配置
如下：
... scrape_configs: - job_name: kubernetes-pods-app pipeline_stages: - cri: {} - match: selector: '{app="event-exporter"}' stages: - json: expressions: namespace: involvedObject.namespace - labels: namespace: "" ... YAML |
上面的配置会从 Events 的 JSONPath involvedObject.namespace 中获取 NameSpace ，并将其作为一个标签 - namespace 添加。
至此，我可以只查看特定 NameSpace（如 emqx) 的 Events, 如下图：
来自 emqx NameSpace 的 Events
🎉🎉🎉
📝Notes:
我的
event-exporter是部署在monitoringNS 中的
❓️疑难解答
刚开始做的时候，发现的日志输出不对，格式实例如下：
错误的日志格式
2022-04-20T22:26:19.526448119+08:00 stderr F I0420 {...json...} LOG |
这是因为我用的 container runtime 是 CRI, 而非 Docker.
但是默认安装 Loki 的时候，配置文件里却用的是 docker 的 stage parser, 导致日志格式异常。初始的配置如下:
... - job_name: kubernetes-pods-name pipeline_stages: - docker: {} ... YAML |
Docker 的日志格式如下：
`{"log":"level=info ts=2019-04-30T02:12:41.844179Z caller=filetargetmanager.go:180 msg=\"Adding target\"\n","stream":"stderr","time":"2019-04-30T02:12:41.8443515Z"}` LOG |
CRI 的日志格式如下：
2019-01-01T01:00:00.000000001Z stderr P some log message LOG |
所以如上文所示，要根据自己的 container runtime 选择合适的 stage parser.
对于 CRI, cri: {} 其实就是如下细节的一个 " 语法糖 ":
- regex: expression: "^(?s)(?P<time>\\S+?) (?P<stream>stdout|stderr) (?P<flags>\\S+?) (?P<content>.*)$" - labels: stream: - timestamp: source: time format: RFC3339Nano - output: source: content YAML |
