iLogtail是阿里云日志服务（SLS）团队自研的可观测数据采集Agent，拥有的轻量级、高性能、自动化配置等诸多生产级别特性，可以署于物理机、虚拟机、Kubernetes等多种环境中来采集遥测数据。iLogtail在阿里云上服务了数万家客户主机和容器的可观测性采集工作，在阿里巴巴集团的核心产品线，如淘宝、天猫、支付宝、菜鸟、高德地图等也是默认的日志、监控、Trace等多种可观测数据的采集工具。目前iLogtail已有千万级的安装量，每天采集数十PB的可观测数据，广泛应用于线上监控、问题分析/定位、运营分析、安全分析等多种场景，在实战中验证了其强大的性能和稳定性。

在当今云原生的时代，我们坚信开源才是iLogtail最优的发展策略，也是释放其最大价值的方法。因此，我们决定将iLogtail开源，期望同众多开发者一起将iLogtail打造成世界一流的可观测数据采集器。

背景

日志作为可观测性建设中的重要一环，可以记录详细的访问请求以及错误信息，在业务分析、问题定位等方面往往会发挥很大的作用。一般开发场景下，当需要进行日志分析时，往往是直接在日志文件中进行grep搜索对应的关键字；但在大规模分布式生产环境下，此方法效率低下，常见解决思路是建立集中式日志收集系统，将所有节点上的日志统一收集、管理、分析。目前市面上比较主流的开源方案是基于ELK构建一套日志采集分析系统。

该架构中，Filebeat作为日志源的采集Agent部署在业务集群上进行原始日志采集，并采集到的日志发送到消息队列Kafka集群。之后，由Logstash从Kafka消费数据，并经过过滤、处理后，将标准化后的日志写入Elasticsearch集群进行存储。最后，由Kibana呈现给用户查询。虽然该架构可以提供比较完整的日志采集、分析功能，但是整体涉及的组件非常多，大规模生产环境部署复杂度高，且大流量下ES可能不稳定，运维成本都会很高。

阿里云提供的SLS服务是一个纯定位在日志/时序类可观测数据分析场景的云上托管服务，相对于ELK在日志领域内做了很多定制化开发，在易用性、功能完备性、性能、成本等方便，都有不错表现。iLogtail作为SLS官方标配的可观测数据采集器，在日志采集性能及K8s支持上都有不错的体验；iLogtail有明显的性能优势，可以将部分数据处理前置，有效降低存储成本。

目前社区版iLogtail也对SLS提供了很好的支持，本文将会详细介绍如何使用社区版iLogtail，并结合SLS云服务快速构建出一套高可用、高性能的日志采集分析系统。

备注：iLogtail社区版相对于iLogtail企业版，核心采集能力上基本是一致的，但是管控、可观测能力上会有所弱化，这些能力需要配合SLS服务端才能发挥出来。欢迎使用iLogtail企业版体验，两个版本差异详见链接。

SLS简介

日志服务SLS是云原生观测与分析平台，为Log、Metric、Trace等数据提供大规模、低成本、实时的平台化服务。日志服务一站式提供数据采集、加工、查询与分析、可视化、告警、消费与投递等功能，全面提升您在研发、运维、运营、安全等场景的数字化能力。

通过SLS可以快速的搭建属于自己的可观测分析平台，可以快速享受到SLS提供的各种数据服务，包括不限于：查询与分析、可视化、告警等。

• 查询分析

• 支持精确查询、模糊查询、全文查询、字段查询。
• 以SQL作为查询和分析框架，同时在框架中融入PromQL语法和机器学习函数。

• 可视化

• 基于SLS统一的查询分析引擎，以图表的形式将查询与分析结果呈现出来，清晰呈现全局态势。
• 支持与第三方可视化工具对接。

• 监控告警：提供一站式的告警监控、降噪、事务管理、通知分派的智能运维平台。

操作实战

以下介绍如何使用iLogtail社区版采集主机环境业务日志到SLS。

场景

采集/root/bin/input_data/access.log、/root/bin/input_data/error.log，并将采集到的日志写入SLS中。

其中，access.log需要正则解析；error.log为单行文本打印。

如果之前已经使用iLogtail将日志采集到Kafka，在迁移阶段可以保持双写，等稳定后删除Kafka Flusher配置即可。

前提条件

• 登陆阿里云SLS控制台，开通SLS服务。
• 已创建一个Project；两个logstore，分别为access-log、error-log。更多信息，请参见创建Project和创建Logstore。

• 开启全文索引。
• 进入Project首页，查看访问域名。

安装iLogtail

• 下载

$ wget https://ilogtail-community-edition.oss-cn-shanghai.aliyuncs.com/1.1.0/ilogtail-1.1.0.linux-amd64.tar.gz

tar -xzvf ilogtail-1.1.0.linux-amd64.tar.gz

$ cd ilogtail-1.1.0

$ ll

drwxrwxr-x 5 505 505      4096 7月  10 18:00 example_config

-rwxr-xr-x 1 505 505  84242040 7月  11 00:00 ilogtail

-rwxr-xr-x 1 505 505     16400 7月  11 00:00 libPluginAdapter.so

-rw-r--r-- 1 505 505 115963144 7月  11 00:00 libPluginBase.so

-rw-rw-r-- 1 505 505     11356 7月  11 00:00 LICENSE

-rw-rw-r-- 1 505 505      5810 7月  11 00:00 README-cn.md

-rw-rw-r-- 1 505 505      4834 7月  11 00:00 README.md

-rw-rw-r-- 1  505  505    118 7月  14 11:22 ilogtail_config.json

drwxr-xr-x 2 root root    4096 7月  12 09:55 user_yaml_config.d

• 获取阿里云AK，并进行配置。

$ cat ilogtail_config.json

{

  "default_access_key_id": "xxxxxx",

  "default_access_key": "yyyyy"

}

• 采集配置

在user_yaml_config.d创建针对access_log、error_log分别创建两个采集配置，两个采集配置分别将日志采集到SLS不同logstore 及Kafka不同的Topic中。双写适用于从Kafka迁移到SLS的场景，如果迁移完成稳定后，可以删除flusher_kafka，只保留flusher_sls即可。

# 访问日志采集配置

$ cat user_yaml_config.d/access_log.yaml

enable: true

inputs:

 - Type: file_log

   LogPath: /root/bin/input_data/

   FilePattern: access.log

processors:

 - Type: processor_regex

   SourceKey: content

   Regex: ([\d\.]+) \S+ \S+ \[(\S+) \S+\] \"(\w+) ([^\\"]*)\" ([\d\.]+) (\d+) (\d+) (\d+|-) \"([^\\"]*)\" \"([^\\"]*)\"

   Keys:

     - ip

     - time

     - method

     - url

     - request_time

     - request_length

     - status

     - length

     - ref_url

     - browser

flushers:

 - Type: flusher_sls

   Endpoint: cn-hangzhou.log.aliyuncs.com

   ProjectName: test-ilogtail

   LogstoreName: access-log

 - Type: flusher_kafka

   Brokers:

     - localhost:9092

   Topic: access-log

# 错误日志采集配置

$ cat user_yaml_config.d/error_log.yaml

enable: true

inputs:

 - Type: file_log

   LogPath: /root/bin/input_data/

   FilePattern: error.log

flushers:

 - Type: flusher_sls

   Endpoint: cn-hangzhou.log.aliyuncs.com

   ProjectName: test-ilogtail

   LogstoreName: access-log

 - Type: flusher_kafka

   Brokers:

     - localhost:9092

   Topic: error-log

$ tree user_yaml_config.d/

user_yaml_config.d/

├── access_log.yaml

└── error_log.yaml

• 启动

$ nohup ./ilogtail > stdout.log 2> stderr.log &

验证

• 访问日志验证，查看logstore数据正常。

# 写入访问日志

$ echo '127.0.0.1 - - [10/Aug/2017:14:57:51 +0800] "POST /PutData?Category=YunOsAccountOpLog HTTP/1.1" 0.024 18204 200 37 "-" "aliyun-sdk-java"' >> /root/bin/input_data/access.log

• 错误日志验证，查看logstore数据正常。

# 写入错误日志

$ echo -e '2022-07-12 10:00:00 ERROR This is a error!\n2022-07-12 10:00:00 ERROR This is a new error!' >> /root/bin/input_data/error.log

总结

以上，我们介绍了使用iLogtail社区版将日志采集到SLS的方法。如果想体验企业版iLogtail与SLS更深度的集成能力，欢迎使用iLogtail企业版，并配合SLS构建可观测平台。

关于iLogtail

iLogtail作为阿里云SLS提供的可观测数据采集器，可以运行在服务器、容器、K8s、嵌入式等多种环境，支持采集数百种可观测数据（日志、监控、Trace、事件等），已经有千万级的安装量。目前，iLogtail已正式开源，欢迎使用及参与共建。

GitHub:https://github.com/alibaba/ilogtail

社区版文档：https://ilogtail.gitbook.io/ilogtail-docs/about/readme

企业版官网：https://help.aliyun.com/document_detail/65018.html

钉钉群：iLogtail社区