logdna过滤log file

本文涉及的产品
日志服务 SLS,月写入数据量 50GB 1个月
简介: 本文在使用logdna的基础上,将logdna-agent-master.yml文件直接部署到k8s cluster中. 通过设置yml文件或者在logdna UI界面上的过滤操作,达到了预期的效果。

安装logdna-agent-master.yml文件至k8s cluster中。

logdna会收集k8s中所有的log,但是,往往只需要收集自己application的log,这时候就需要过滤log。

主要由两种方式:
    第一种,logdna主要是根据log在k8s host上的文件路径的来获取log,因此 可以在log-agent-master.yml文件中添加env来定义过滤的文件。

spec:
      tolerations:
      - operator: Exists
      containers:
      - name: logdna-agent
        image: logdna/logdna-agent:latest
        imagePullPolicy: Always
        env:
          - name: LOGDNA_AGENT_KEY
            valueFrom:
              secretKeyRef:
                name: logdna-agent-key
                key: logdna-agent-key
          - name: LOGDNA_PLATFORM
            value: k8s
          - name: LOGDNA_EXCLUDE
            value: /var/log/containers/calico-*,/var/log/containers/ibm-kube-fluentd-* 
        resources:
          requests:
            cpu: 20m
          limits:
            memory: 500Mi
其中LOGDNA_EXCLUDE 就是要过滤的文件的env名,其value 就是要过滤的文件路径。

f2a4434e267230ea3373c57ffc72562ad868eb0b

要过滤的文件名可以在上图的位置去发现。

      第二种,在logdna的UI上去过滤。

     setting->usage->

90eb18b6264128daf08a7d468ea72821494a3fd4

点击 ‘Add Rule’来添加要过滤的app的name.

相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
相关文章
如何关掉Parsed mapper file日志打印
如何关掉Parsed mapper file日志打印
294 1
|
7月前
|
小程序
【小程序】报错:no such file or directory, access ‘wxfile://usr/miniprogramLog/log2‘
【小程序】报错:no such file or directory, access ‘wxfile://usr/miniprogramLog/log2‘
1457 0
|
4月前
|
安全 网络安全 数据安全/隐私保护
auth required pam_tally2.so file=/var/log/tallylog onerr=fail deny=3 unlock_time=300 even_deny_root root_unlock_time=300 什么作用?
【8月更文挑战第2天】auth required pam_tally2.so file=/var/log/tallylog onerr=fail deny=3 unlock_time=300 even_deny_root root_unlock_time=300 什么作用?
82 1
|
4月前
|
安全 网络安全 数据安全/隐私保护
auth required pam_tally2.so file=/var/log/tallylog onerr=fail deny=3 unlock_time=300 even_deny_root root_unlock_time=300 什么作用
【8月更文挑战第14天】auth required pam_tally2.so file=/var/log/tallylog onerr=fail deny=3 unlock_time=300 even_deny_root root_unlock_time=300 什么作用
128 0
|
5月前
|
关系型数据库 MySQL 数据库
MySQL 启动日志报错: File /mysql-bin.index not found (Errcode: 13 - Permission denied)
MySQL 启动日志报错: File /mysql-bin.index not found (Errcode: 13 - Permission denied)
253 2
|
7月前
|
存储 关系型数据库 数据库
关系型数据库文件方式存储LOG FILE(日志文件)
【5月更文挑战第11天】关系型数据库文件方式存储LOG FILE(日志文件)
221 1
|
7月前
|
运维 应用服务中间件 网络安全
利于群晖的File Station+SFTP实现第三方人员快速获取服务器应用日志
利于群晖的File Station+SFTP实现第三方人员快速获取服务器应用日志
231 0
|
应用服务中间件 PHP nginx
PHP ERROR: failed to open error_log (/usr/var/log/php-fpm.log): No such file or directory (2)
PHP ERROR: failed to open error_log (/usr/var/log/php-fpm.log): No such file or directory (2)
170 1
|
关系型数据库 MySQL
MySQL - File /var/log/mysql/mysql-bin.index not found (Errcode 13 - Permission denied)
MySQL - File /var/log/mysql/mysql-bin.index not found (Errcode 13 - Permission denied)
370 0
|
关系型数据库 MySQL 数据库
阿里云Mysql数据库物理全备文件恢复到自建数据库Mysql报错:InnoDB: Log file ./...xtrabacku
阿里云Mysql数据库物理全备文件恢复到自建数据库Mysql报错:InnoDB: Log file ./...xtrabacku
117 0