iLogtail是阿里云日志服务（SLS）团队自研的可观测数据采集Agent，拥有的轻量级、高性能、自动化配置等诸多生产级别特性，可以署于物理机、虚拟机、Kubernetes等多种环境中来采集遥测数据。iLogtail在阿里云上服务了数万家客户主机和容器的可观测性采集工作，在阿里巴巴集团的核心产品线，如淘宝、天猫、支付宝、菜鸟、高德地图等也是默认的日志、监控、Trace等多种可观测数据的采集工具。目前iLogtail已有千万级的安装量，每天采集数十PB的可观测数据，广泛应用于线上监控、问题分析/定位、运营分析、安全分析等多种场景，在实战中验证了其强大的性能和稳定性。

在当今云原生的时代，我们坚信开源才是iLogtail最优的发展策略，也是释放其最大价值的方法。因此，我们决定将iLogtail开源，期望同众多开发者一起将iLogtail打造成世界一流的可观测数据采集器。

背景

日志作为可观测性建设中的重要一环，可以记录详细的访问请求以及错误信息，在业务分析、问题定位等方面往往会发挥很大的作用。一般开发场景下，当需要进行日志分析时，往往是直接在日志文件中进行grep搜索对应的关键字；但在大规模分布式生产环境下，此方法效率低下，常见解决思路是建立集中式日志收集系统，将所有节点上的日志统一收集、管理、分析。

目前行业上主流的开源方案，分成了5个部分。

• 采集端：承载可观测数据采集及一部分前置的数据处理功能。随着云原生的发展，采集端也需要适应时代潮流，提供对K8s采集的友好支持。常见的采集端有Filebeat、FluentD/Fluent-bIt，以及我们开源的iLogtail。
• 消息队列：采集Agent往往不会直接将采集到的数据发送到存储系统，而是写入消息队列，起到削峰填谷的作用，避免流量洪峰导致存储系统宕机。常见消息队列为Kafka、RabbitMQ等。
• 计算：用于消费消息队列中的数据，经过处理、聚合后输出到存储系统。比较常见的为Flink、Logstash等。
• 存储分析引擎：提供采集数据持久化存储能力，并提供查询分析能力。常见的存储分析引擎为Elasticsearch、ClickHouse及Loki。
• 可视化：借助Kibana和Grafana提供采集数据的可视化能力。

iLogtail作为可观测数据采集器，致力于打造统一的数据采集层。提供了数十种数据源的采集能力，及丰富的处理能力，具有高性能、高可靠的特点。iLogtail社区版源自企业版iLogtail，核心采集处理能力完全对标企业版，完全可以应对大规模线上使用的场景。完整对比详见 社区版和企业版的对比说明。

注：日志服务SLS作为云原生的可观测平台，为Log、Metric、Trace等数据提供大规模、低成本、实时的平台化服务。同时一站式提供数据采集、加工、查询与分析、可视化、告警、消费与投递等功能，具备上图中2、3、4、5所有的能力。iLogtail企业版作为SLS官方标配的可观测数据采集器，可以无缝集成，提供一站式便捷的采集能力。

原理介绍

iLogtail采用PipeLine的设计，数据处理有较强的扩展性。当文本文件采集后，会经过采集配置中设定的Processor处理，之后经过Aggregator插件打包，最终通过Flusher发送到日志存储系统。

此外，iLogtail对于文本处理的场景，也提供了C++加速处理能力，可以显著提升日志处理效率。C++加速不在本文讨论范围，敬请期待后续分享文章。

场景实战

本文将会详细介绍使用iLogtail社区版进行日志采集时，对于常见日志格式的处理实战。为了便于调测，以下样例默认将采集到的日志，经过处理后，输出到标准输出，开发者可以根据实际需求进行适当的调整。

场景1 -- 正则表达式解析及响应过滤

场景描述

按照正则解析请求日志格式，并且只采集status异常的日志，即不采集200的日志。

实现机制

这里需要用到两个插件：

• 首先使用processor_regex进行日志字段提取，需要注意正则中的()，需要与提取出来的Keys严格对应。
• 使用processor_filter_regex进行过滤处理，不采集status为200的日志。

实战

• 输入

echo '127.0.0.1 - - [10/Aug/2022:14:57:51 +0800] "POST /PutData?Category=YunOsAccountOpLog" 0.024 18204 200 37 "-" "aliyun-sdk-java"' >> /home/test-log/proccessor-input.log

echo '127.0.0.1 - - [10/Aug/2022:14:57:52 +0800] "POST /PutData?Category=YunOsAccountOpLog" 0.14 18200 404 37 "-" "aliyun-sdk-java"' >> /home/test-log/proccessor-input.log

• 采集配置

enable: true

inputs:

 - Type: file_log

   LogPath: /home/test-log/

   FilePattern: proccessor-input.log

processors:

 - Type: processor_regex

   SourceKey: content

   Regex: ([\d\.]+) \S+ \S+ \[(\S+) \S+\] \"(\w+) ([^\\"]*)\" ([\d\.]+) (\d+) (\d+) (\d+|-) \"([^\\"]*)\" \"([^\\"]*)\"

   Keys:

     - ip

     - time

     - method

     - url

     - request_time

     - request_length

     - status

     - length

     - ref_url

     - browser

 - Type: processor_filter_regex

   Exclude:

     status: "200"

flushers:

 - Type: flusher_stdout

   OnlyStdout: true

• 输出

{

   "__tag__:__path__": "/home/test-log/proccessor-input.log",

   "ip": "127.0.0.1",

   "time": "10/Aug/2022:14:57:52",

   "method": "POST",

   "url": "/PutData?Category=YunOsAccountOpLog",

   "request_time": "0.14",

   "request_length": "18200",

   "status": "404",

   "length": "37",

   "ref_url": "-",

   "browser": "aliyun-sdk-java",

   "__time__": "1659884519"

}

场景2 -- Json格式解析及字段取值过滤

场景描述

采集的日志格式为Json，按照Json解析后，进行日志内容进行过滤。只采集ip以10开头、method为POST且browser不为aliyun.*的日志。

实现机制

这里需要用到两个插件：

• 因为原始日志时Json格式，所以需要首先使用processor_json进行日志的解析，处理后可以得到kv形式字段。
• 使用processor_filter_regex进行过滤处理，只保留符合条件的日志。该插件可以支持多个字段的取值组合。

实战

• 输入

echo '{"ip": "10.**.**.**", "method": "POST", "brower": "aliyun-sdk-java"}' >> /home/test-log/proccessor-input.log

echo '{"ip": "10.**.**.**", "method": "POST", "brower": "chrome"}' >> /home/test-log/proccessor-input.log

echo '{"ip": "192.168.**.**", "method": "POST", "brower": "aliyun-sls-ilogtail"}' >> /home/test-log/proccessor-input.log

• 采集配置

• 需要特别注意，10开头的IP需要与100开头的区分开，因此正则应该是10\..*。

enable: true

inputs:

 - Type: file_log

   LogPath: /home/test-log/

   FilePattern: proccessor-input.log

processors:

 - Type: processor_json

   SourceKey: content

   KeepSource: false

   ExpandDepth: 1

   ExpandConnector: ""

 - Type: processor_filter_regex

   Include:

     ip: 10\..*

     method: POST

   Exclude:

     brower: aliyun.*

flushers:

 - Type: flusher_stdout

   OnlyStdout: true

• 输出

{

   "__tag__:__path__": "/home/test-log/proccessor-input.log",

   "ip": "10.**.**.**",

   "method": "POST",

   "brower": "chrome",

   "__time__": "1659881747"

}

场景3 -- 多行日志解析

场景描述

多行文本日志即默认一条日志有多行内容，常见于Java程序异常调用栈打印。iLogtail通过行首正则表达式去匹配一条日志的行首，未匹配部分为该条日志的一部分。

本例以时间开头的行作为开头，进行多行日志解析。

实现机制

需要借助processor_split_log_regex实现多行匹配，使用时需要根据日志特点指定行首正则。

实战

• 输入

echo -e  '[2022-03-03 18:00:00] xxx1\nyyyyy\nzzzzzz\n[2022-03-03 18:00:01] xxx2\nyyyyy\nzzzzzz' >> /home/test-log/proccessor-input.log

• 采集配置

enable: true

inputs:

 - Type: file_log

   LogPath: /home/test-log/

   FilePattern: proccessor-input.log

processors:

 - Type: processor_split_log_regex

   SplitRegex: \[\d+-\d+-\d+\s\d+:\d+:\d+]\s.*

   SplitKey: content

   PreserveOthers: true

flushers:

 - Type: flusher_stdout

   OnlyStdout: true

• 输出

{

   "__tag__:__path__": "/home/test-log/multiline.log",

   "content": "[2022-03-03 18:00:00] xxx1\nyyyyy\nzzzzzz\n",

   "__time__": "1657367638"

}

{

   "__tag__:__path__": "/home/test-log/multiline.log",

   "content": "[2022-03-03 18:00:01] xxx2\nyyyyy\nzzzzzz",

   "__time__": "1657367638"

}

场景4 -- 混合日志模式解析

场景描述

有时业务日志不是单一的Json模式，可能嵌套了其他的模式，这时候如果用正则去匹配会比较复杂。iLogtail数据处理pipeline的设计可以对原始日志进行层层提取。

本例对主体为key-value格式，但是其中部分字段嵌套Json的日志内容进行解析处理。

实现机制

• 首先借助processor_split_key_value进行key-value对的提取。
• 利用processor_json对Json内容进行解析。
• 利用processor_drop剔除不需要的字段。

实战

• 输入

echo -e  "time:2017.09.12 20:55:36\tjson:{\"key1\" : \"xx\", \"key2\": false, \"key3\":123.456, \"key4\" : { \"inner1\" : 1, \"inner2\" : false}}" >> /home/test-log/proccessor-input.log

• 采集配置

enable: true

inputs:

 - Type: file_log

   LogPath: /home/test-log/

   FilePattern: proccessor-input.log

processors:

 - Type: processor_split_key_value

   SourceKey: content

   Delimiter: "\t"

   Separator: ":"

 - Type: processor_json

   SourceKey: json

   KeepSource: false

   ExpandDepth: 1

   ExpandConnector: ""

 - Type: processor_drop

   DropKeys:

     - key4

flushers:

 - Type: flusher_stdout

   OnlyStdout: true

• 输出

{

   "__tag__:__path__": "/home/test-log/proccessor-input.log",

   "content": "time:2017.09.12 20:55:36\tjson:{\"key1\" : \"xx\", \"key2\": false, \"key3\":123.456, \"key4\" : { \"inner1\" : 1, \"inner2\" : false}}",

   "time": "2017.09.12 20:55:36",

   "key1": "xx",

   "key2": "false",

   "key3": "123.456",

   "__time__": "1659911138"

}

总结

以上，我们介绍了使用iLogtail社区版对于常见日志格式解析处理的实战，可以应用于日志格式标准化处理、日志过滤等场景。当然iLogtail还有众多数据处理插件可供选择，开发者可以基于我们的本篇实战分享及文档，构建属于自己的data_pipelines。

我们也将一些常见的处理模版归档到GitHub供开发者使用，当然也希望开发者跟我们一起共建，将自己使用的案例分享给社区的所有开发人员。

关于iLogtail

iLogtail作为阿里云SLS提供的可观测数据采集器，可以运行在服务器、容器、K8s、嵌入式等多种环境，支持采集数百种可观测数据（日志、监控、Trace、事件等），已经有千万级的安装量。目前，iLogtail已正式开源，欢迎使用及参与共建。

GitHub:https://github.com/alibaba/ilogtail

社区版文档：https://ilogtail.gitbook.io/ilogtail-docs/about/readme

企业版官网：https://help.aliyun.com/document_detail/65018.html