Filebeat 采集 Kubernetes 日志

本文涉及的产品
日志服务 SLS,月写入数据量 50GB 1个月
简介: 由于容器的特性,在容器重新创建后日志会废弃掉,如何通过持久化和中心化的处理容器日志变成一个棘手的问题,如何通过 Elastic Stack 进行一站式的数据采集,数据清洗,数据落地,数据可视化,让数据发挥真正的价值呢?

> 由于容器的特性,在容器重新创建后日志会废弃掉,如何通过持久化和中心化的处理容器日志变成一个棘手的问题,如何通过 Elastic Stack 进行一站式的数据采集,数据清洗,数据落地,数据可视化,让数据发挥真正的价值呢?


#### 架构设计

涉及到 Elastic Stack 中 Filebeat 是用于采集 Kubernetes Pod 相关的日志,Elasticsearch 是用于对于数据落地存储和搜索的引擎, Kibana 是用于对数据可视化的工具。

image.jpeg

在 Docker 中容器的日志是存储在/var/lib/docker/containers/ 目录下的,目录下的每一个文件夹为容器ID,容器ID目录下的 log 类型文件则为容器的日志文件。

而 Kubernetes 针对其采集时使用的是 DaemonSet 的方式,在每一个 Node 节点上都启动一个 Filebeat 针对当前的节点进行容器日志的收集。


#### 实施方法


创建 DaemonSet 类型的控制器去在每一个 Node 节点上启动 Pods,Pods中放入 Filebeat 的容器并且映射的宿主机上的容器日志目录进行日志的采集。

apiVersion: apps/v1
kind: DaemonSet
metadata:  labels:    app: filebeat
  name: filebeat-daemonset
spec:  selector:    matchLabels:      app: filebeat
  template:    metadata:      labels:        app: filebeat
    spec:      containers:        - name: filebeat-daemonset
          image: 'elastic/filebeat:7.9.2'          securityContext:            runAsUser: 0          volumeMounts:            - mountPath: /usr/share/filebeat/filebeat.yml
              name: volume-configmap
              subPath: filebeat.yml
            - mountPath: /var/lib/docker/containers
              name: volume-containerlog
      volumes:        - name: volume-configmap
          configMap:            defaultMode: 420            name: filebeat-configmap
        - name: volume-containerlog
          hostPath:            path: /var/lib/docker/containers
---apiVersion: v1
data:  filebeat.yml: |-
    filebeat.config:      modules:        path: ${path.config}/modules.d/*.yml
        reload.enabled: false    processors:      - add_cloud_metadata: ~
      - add_docker_metadata: ~
    filebeat.inputs:    - type: docker
      containers:        path: "/var/lib/docker/containers"json.keys_under_root: true        ids:          - "*"    output.elasticsearch:      hosts: ["elasticsearch-service:9200"]      username: "elastic"      password: "xxx"    setup.kibana:      host: "kibana-service:5601"kind: ConfigMap
metadata:  name: filebeat-configmap

进入 Pods 修改配置

docker exec -it filebeat-daemonset-xxx /bin/bash


设置 Filebeat 创建 Kibana上的 Index Pattern 和 Dashboard

filebeat setup


#### 可视化展示

通过 Kibana 中的 Discover 功能

image.jpeg


相关实践学习
【涂鸦即艺术】基于云应用开发平台CAP部署AI实时生图绘板
【涂鸦即艺术】基于云应用开发平台CAP部署AI实时生图绘板
目录
相关文章
|
4月前
|
数据采集 存储 大数据
大数据之路:阿里巴巴大数据实践——日志采集与数据同步
本资料全面介绍大数据处理技术架构,涵盖数据采集、同步、计算与服务全流程。内容包括Web/App端日志采集方案、数据同步工具DataX与TimeTunnel、离线与实时数仓架构、OneData方法论及元数据管理等核心内容,适用于构建企业级数据平台体系。
|
1月前
|
数据采集 缓存 大数据
【赵渝强老师】大数据日志采集引擎Flume
Apache Flume 是一个分布式、可靠的数据采集系统,支持从多种数据源收集日志信息,并传输至指定目的地。其核心架构由Source、Channel、Sink三组件构成,通过Event封装数据,保障高效与可靠传输。
187 1
|
2月前
|
存储 Kubernetes 监控
Kubernetes日志管理:使用Loki进行日志采集
通过以上步骤,在Kubernetes环境下利用LoKi进行有效率且易于管理地logs采集变成可能。此外,在实施过程中需要注意版本兼容性问题,并跟进社区最新动态以获取功能更新或安全补丁信息。
230 16
|
3月前
|
存储 缓存 Apache
StarRocks+Paimon 落地阿里日志采集:万亿级实时数据秒级查询
A+流量分析平台是阿里集团统一的全域流量数据分析平台,致力于通过埋点、采集、计算构建流量数据闭环,助力业务提升流量转化。面对万亿级日志数据带来的写入与查询挑战,平台采用Flink+Paimon+StarRocks技术方案,实现高吞吐写入与秒级查询,优化存储成本与扩展性,提升日志分析效率。
483 1
|
4月前
|
JSON 安全 网络安全
LoongCollector 安全日志接入实践:企业级防火墙场景的日志标准化采集
LoonCollector 是一款轻量级日志采集工具,支持多源安全日志的标准化接入,兼容 Syslog、JSON、CSV 等格式,适用于长亭 WAF、FortiGate、Palo Alto 等主流安全设备。通过灵活配置解析规则,LoonCollector 可将原始日志转换为结构化数据,写入阿里云 SLS 日志库,便于后续查询分析、威胁检测与合规审计,有效降低数据孤岛问题,提升企业安全运营效率。
|
1月前
|
人工智能 算法 调度
阿里云ACK托管集群Pro版共享GPU调度操作指南
本文介绍在阿里云ACK托管集群Pro版中,如何通过共享GPU调度实现显存与算力的精细化分配,涵盖前提条件、使用限制、节点池配置及任务部署全流程,提升GPU资源利用率,适用于AI训练与推理场景。
231 2
|
1月前
|
弹性计算 监控 调度
ACK One 注册集群云端节点池升级:IDC 集群一键接入云端 GPU 算力,接入效率提升 80%
ACK One注册集群节点池实现“一键接入”,免去手动编写脚本与GPU驱动安装,支持自动扩缩容与多场景调度,大幅提升K8s集群管理效率。
224 89
|
6月前
|
资源调度 Kubernetes 调度
从单集群到多集群的快速无损转型:ACK One 多集群应用分发
ACK One 的多集群应用分发,可以最小成本地结合您已有的单集群 CD 系统,无需对原先应用资源 YAML 进行修改,即可快速构建成多集群的 CD 系统,并同时获得强大的多集群资源调度和分发的能力。
273 9
|
6月前
|
资源调度 Kubernetes 调度
从单集群到多集群的快速无损转型:ACK One 多集群应用分发
本文介绍如何利用阿里云的分布式云容器平台ACK One的多集群应用分发功能,结合云效CD能力,快速将单集群CD系统升级为多集群CD系统。通过增加分发策略(PropagationPolicy)和差异化策略(OverridePolicy),并修改单集群kubeconfig为舰队kubeconfig,可实现无损改造。该方案具备多地域多集群智能资源调度、重调度及故障迁移等能力,帮助用户提升业务效率与可靠性。
|
8月前
|
存储 Kubernetes 监控
K8s集群实战:使用kubeadm和kuboard部署Kubernetes集群
总之,使用kubeadm和kuboard部署K8s集群就像回归童年一样,简单又有趣。不要忘记,技术是为人服务的,用K8s集群操控云端资源,我们不过是想在复杂的世界找寻简单。尽管部署过程可能遇到困难,但朝着简化复杂的目标,我们就能找到意义和乐趣。希望你也能利用这些工具,找到你的乐趣,满足你的需求。
829 33

热门文章

最新文章