使用阿里云日志服务采集查询kubernetes容器日志-阿里云开发者社区

开发者社区> 开发与运维> 正文
登录阅读全文

使用阿里云日志服务采集查询kubernetes容器日志

简介: 使用阿里云日志收集查询kubernetes容器日志

[TOC]

使用阿里云日志服务采集查询kubernetes容器日志

概述

在使用阿里云日志服务之前,我们自建了graylog服务,使用了3台服务器。
使用阿里云日志服务之后,按量付费,每月不到20元,相比使用前,费用节省比较多,也减少了自建日志服务的维护成本。
根据阿里云的监控数据,大概每秒写入500行日志。
从实际使用效果看,对于各环境日志查询,阿里云日志服务能够很好的满足需求。
下面主要讲讲配置细节。

创建日志库

可参考创建日志库

创建logtail机器组和logtail配置

参考logtail采集概述
在此处我创建了两个log配置,一个是采集/var/log目录下的所有.log;另一个是采集/logs/.log,见下图,具体的配置可参考阿里云官方文档[logtail收集日志](https://help.aliyun.com/document_detail/28967.html?spm=5176.doc28979.2.11.lAWnv0)。
logtail配置图:
logconfigs
logtail机器组:
loggroup

创建logtail镜像

因为我所在的区域是华东2,使用的是VPC网络,安装时会地域使用cn_shanghai_vpc。
使用的logtail.sh脚本是:http://logtail-release-sh.vpc100-oss-cn-shanghai.aliyuncs.com/linux64/logtail.sh
package所在地址为:http://logtail-release-sh.vpc100-oss-cn-shanghai.aliyuncs.com/linux64/logtail-linux64.tar.gz
user_defined_id为你在之前步骤中配置的机器组用户自定义标识
${account_id} 需要更换为你的阿里云帐号id
Dockerfile内容如下

From registry.cn-shanghai.aliyuncs.com/acs/ilogtail:0.12.1-5dcc770
COPY logtail.sh /logtail.sh
COPY logtail-linux64.tar.gz /logtail-linux64.tar.gz
RUN chmod +x /logtail.sh
RUN sh /logtail.sh install cn_shanghai_vpc
COPY docker_run.sh /usr/local/ilogtail/docker_run.sh
COPY user_defined_id /etc/ilogtail/user_defined_id
RUN mkdir -p /etc/ilogtail/users
RUN touch /etc/ilogtail/users/${account_id}
RUN cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime

docker_run.sh内容如下,只是修改了默认区域:

#!/bin/bash

default_log_region='cn_shanghai_vpc'
if [ "$log_region" = "" ];then
    log_region=$default_log_region
fi
cp /usr/local/ilogtail/conf/$log_region/ilogtail_config.json /usr/local/ilogtail/ilogtail_config.json

service ilogtaild start

exit_handle()
{
    service ilogtaild stop
    exit 0
}

trap 'exit_handle' SIGTERM

if [ "$swarm_mode" == "true" ]; then
    exec /usr/local/bin/link_volumes
else
    while true
    do
        sleep 10
    done
fi

根据此dockerfile,生成需要的镜像。

配置kubernetes pod

在kubernetes pod manifest中使用容器之间共享volumn的方式来让logtail收集应用的日志,为了能够在日志查询时区分是哪个应用来的日志,日志挂载目录为:/logs/APP_NAME/ENV_TYPE_VALUE
详细manifest如下:

kind: Deployment
apiVersion: extensions/v1beta1
metadata:
  labels:
    app: APP_NAME
  name: APP_NAME
  namespace: ENV_TYPE_VALUE
spec:
  replicas: REPLICA_NUM
  selector:
    matchLabels:
      app: APP_NAME
  template:
    metadata:
      labels:
        app: APP_NAME
    spec:
      nodeSelector:
        node-type: slave
      containers:
      - name: APP_NAME
        image: IMAGE_REF
        resources:
          limits:
            cpu: CPU_LIMIT
            memory: MEMORY_LIMIT
        ports:
        - containerPort: APP_PORT
          protocol: TCP
        env:
          - name: TZ
            value: Asia/Shanghai
          - name: ENV_TYPE
            value: ENV_TYPE_VALUE
          - name: POD_NAME
            value: POD_NAME_VALUE
          - name: BUILD_ID
            value: BUILD_ID_VALUE
        livenessProbe:
          httpGet:
            path: HTTP_PATH
            port: APP_PORT
            httpHeaders:
            - name: "Authorization"
              value: "HTTP_BASIC_AUTH"
        readinessProbe:
          httpGet:
            path: HTTP_PATH
            port: APP_PORT
            httpHeaders:
            - name: "Authorization"
              value: "HTTP_BASIC_AUTH"
        volumeMounts:
          # name must match the volume name below
          - name: app-log
            mountPath: /logs
            readOnly: false
      - name: logtail
        image: registry-vpc.cn-shanghai.aliyuncs.com/jfdevops/ilogtail:0.12.7
        env:
          - name: TZ
            value: Asia/Shanghai
          - name: ENV_TYPE
            value: ENV_TYPE_VALUE
          - name: POD_NAME
            value: POD_NAME_VALUE
        volumeMounts:
          - name: app-log
            mountPath: /logs/APP_NAME/ENV_TYPE_VALUE
      volumes:
      - name: app-log
        emptyDir:
          medium: ""

最终显示效果如图:
logview

可以使用__tag__:__path__: /logs/APP_NAME/ENV_TYPE_VALUE/*搜索ENV_TYPE_VALUE下的应用APP_NAME的日志。

logtail性能情况

在上述模式下,每个pod都会起一个logtail的容器,其是否为影响其它服务的性能呢?
在目前的量能情况下,一台4C16G的服务器logtail只占20M,0.02个CPU,几乎没有影响,即使再上升10倍也是可以接受的。

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

分享: