filebeat收集容器日志
现在很多公司都是用docker容器来运行服务，一台机器上会有很多个docker，docker容器里面的日志也需要收集分析，filebeat也有docker容器的日志收集方案
官方配置地址https://www.elastic.co/guide/en/beats/filebeat/6.6/filebeat-input-docker.html
1.部署docker
1.安装docker [root@docker ~]# wget -O /etc/yum.repos.d/docker-ce.repo https://download.docker.com/linux/centos/docker-ce.repo [root@docker ~]# sed -i 's#download.docker.com#mirrors.tuna.tsinghua.edu.cn/docker-ce#' /etc/yum.repos.d/docker-ce.repo [root@docker ~]# yum -y install docker-ce [root@docker ~]# tee /etc/docker/daemon.json <<-'EOF' { "registry-mirrors": ["https://zggyaen3.mirror.aliyuncs.com"] } EOF { "registry-mirrors": ["https://zggyaen3.mirror.aliyuncs.com"] } 2.启动docker [root@docker ~]# systemctl start docker 3.运行一个nginx容器 [root@docker ~]# docker run -d -p 888:80 nginx 4.查看容器日志路径，这个日志就是容器里面程序的日志 [root@docker ~]# docker inspect compassionate_mayer | grep log "LogPath": "/var/lib/docker/containers/7b345b1107fdd302d6b476403bb61eaca19414d42a3c316283d3f490f7380dfb/7b345b1107fdd302d6b476403bb61eaca19414d42a3c316283d3f490f7380dfb-json.log",
2.配置filebeat收集单个docker容器日志
2.1.配置filebeat
1.配置filebeat [root@docker /etc/filebeat]# vim /etc/filebeat/filebeat.yml filebeat.inputs: - type: docker containers.ids: - '7b345b1107fdd302d6b476403bb61eaca19414d42a3c316283d3f490f7380dfb' #填写容器的id output.elasticsearch: hosts: ["192.168.81.210:9200"] indices: index: "docker-nginx-%{+yyyy.MM.dd}" setup.template.name: "docker" setup.template.pattern: "docker-*" setup.template.enabled: false setup.template.overwrite: true 2.重启filebeat [root@docker /etc/filebeat]# systemctl restart filebeat.service
2.2.查看es是否产生了索引
2.3.kibana关联es上的索引
点击Managerment—创建索引
2.4.查看收集来的日志
点击Discovery—选择索引
这次收集的docker容器日志不是那么细分的，虽然这个日志也是json格式，但是docker默认他们放在了一个value里
格式化后的日志
3.配置filebeat收集多个容器日志
3.1.运行多个docker
[root@docker ~]# docker run -d -p 999:80 nginx [root@docker ~]# docker run -d -p 888:80 nginx
3.2.配置filebeat
[root@docker ~]# grep -Ev '#|^$' /etc/filebeat/filebeat.yml filebeat.inputs: - type: docker containers: path: "/var/lib/docker/containers" #docker容器日志的路径 ids: - "*" #如果只想收集一个容器的日志，就写一个容器的id号，如果想收集所有容器的日志则写* output.elasticsearch: hosts: ["192.168.81.210:9200"] indices: index: "docker-nginx-%{+yyyy.MM.dd}" setup.template.name: "docker" setup.template.pattern: "docker-*" setup.template.enabled: false setup.template.overwrite: true
3.3.产生日志
ab -c 100 -n 5672 http://www.jiangxl.com:999/ ab -c 100 -n 1000 http://www.jiangxl.com:888/
3.4.查看es索引是否增加数据
已经增加
3.5.kibana关联es索引
3.6.查看收集来的日志是不是多个容器的
已经是不同容器的日志了
