AI 助理
备案控制台
开发者社区 云存储 动手实践 正文

【Logtail最佳实践】使用Logtail采集和解析Syslog数据

2022-06-10 2304
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
本文涉及的产品
对象存储 OSS，20GB 3个月
推荐场景：
基于PAI-EAS挂载OSS部署AIGC服务 ossutil工具管理OSS
云备份 Cloud Backup，100GB 3个月
对象存储 OSS，恶意文件检测 1000次 1年
简介： Syslog是一种行业标准的协议，可用来记录设备的日志。常见的应用场景是网络管理工具、安全管理系统、日志审计系统。本文档介绍如何使用Logtail采集和解析Syslog数据。

目标读者

数字化系统开发运维（DevOps）工程师、稳定性工程师（SRE）、可观测平台运维人员等。

使用场景

Syslog是一种行业标准的协议，可用来记录设备的日志。常见的应用场景是网络管理工具、安全管理系统、日志审计系统。

本文档介绍如何使用Logtail采集和解析Syslog数据。

相关概念

Logtail

Logtail是日志服务提供的日志采集Agent，用于采集阿里云ECS、自建IDC、其他云厂商等服务器上的日志。本文介绍Logtail的功能、优势、使用限制及配置流程等信息。

Syslog

目前业界存在常见两种Syslog日志协议，一个是2009年的RFC5424协议，另外一个是2001年的RFC3164协议。以下介绍这两种协议的不同之处，以便在后续实践中能够灵活应用Logtail插件解析Syslog日志。

RFC5424协议

PRI VERSION SP TIMESTAMP SP HOSTNAME SP APP-NAME SP PROCID SP MSGID

RFC5424协议包含以下字段信息，具体信息请参见官方协议。

"""

Example1:

<34>1 2019-07-11T22:14:15.003Z aliyun.example.com ali - ID47 - BOM'su root' failed for lonvick on /dev/pts/8

"""

PRI -- 34

VERSION -- 1

TIMESTAMP -- 2019-07-11T22:14:15.003Z

HOSTNAME -- aliyun.example.com

APP-NAME -- ali

PROCID -- 无

MSGID -- ID47

MESSAGE -- 'su root' failed for lonvick on /dev/pts/8

"""

Example2:

<165>1 2019-07-11T22:14:15.000003-07:00 192.0.2.1 myproc 8710 - - %% It's time to make the do-nuts.

"""

PRI -- 165

VERSION -- 1

TIMESTAMP -- 2019-07-11T05:14:15.000003-07:00

HOSTNAME -- 192.0.2.1

APP-NAME -- myproc

PROCID -- 8710

STRUCTURED-DATA -- “-”

MSGID -- “-”

MESSAGE -- "%% It's time to make the do-nuts."

"""

Example3: - with STRUCTURED-DATA

<165>1 2019-07-11T22:14:15.003Z aliyun.example.com

          evntslog - ID47 [exampleSDID@32473 iut="3" eventSource=

          "Application" eventID="1011"] BOMAn application

          event log entry...

"""

PRI -- 165

VERSION -- 1

TIMESTAMP -- 2019-07-11T22:14:15.003Z

HOSTNAME -- aliyun.example.com

APP-NAME -- evntslog

PROCID -- "-"

MSGID -- ID47

STRUCTURED-DATA -- [exampleSDID@32473 iut="3" eventSource="Application" eventID="1011"]

MESSAGE -- An application event log entry...


RFC3164协议

PRI HEADER[TIME HOSTNAME] MSG

RFC3164协议包含以下字段信息，具体信息请参见官方协议。

"""

<30>Oct 9 22:33:20 hlfedora auditd[1787]: The audit daemon is exiting.

"""

PRI -- 30

HEADER

- TIME -- Oct 9 22:33:20

- HOSTNAME -- hlfedora

MSG

- TAG -- auditd[1787]

- Content --The audit daemon is exiting.


方案架构

通过Logtail插件对指定的地址和端口进行监听后，Logtail开始采集数据，包括通过rsyslog采集的系统日志以及通过syslog客户端转发的日志。

方案实施

前提条件

  • 已部署好rsyslog
  • 在rsyslog目标IP的机器上已安装Logtail
  • 开通阿里云日志服务

操作步骤

场景一：采集Linux系统Syslog


步骤1：为rsyslog添加一条转发规则

  1. 在syslog所在的服务器上修改rsyslog的配置文件/etc/rsyslog.conf，在配置文件的最后添加一行转发规则。添加转发规则后，rsyslog会将syslog转发至指定IP地址和端口上。

UDP转发配置格式:

*.* @${日志服务器的ip}:{日志服务器的端口}  

TCP转发配置格式:

*.* @@${日志服务器的ip}:{日志服务器的端口}  


例如以下配置表示将所有的日志都通过TCP转发至127.0.0.1:9000，配置文件详细说明请参见RSyslog Documentation。

*.* @@127.0.0.1:9000

ps：

  • 如果通过当前服务器采集本机syslog，配置转发地址为127.0.0.1，端口为任意非知名的空闲端口。
  • 如果通过其他服务器采集本机syslog，配置转发地址为其他服务器的公网IP，端口为任意非知名的空闲端口。
  1. 执行以下命令重启rsyslog，使日志转发规则生效。

sudo service rsyslog restart

步骤2：创建采集配置

1. 创建Project、Logstore

a. 登录日志服务控制台，在Project列表页面，选择已有的Project或者创建新的Project。

b. 在日志库标签页，选择已有Logstore或者单击+图标创建新的Logstore。

2. 创建/选择机器组

a. 在数据接入-> Logtail配置，点击+，接入数据

b. 快速数据接入页面，选择自定义数据插件。

c. 创建/选择机器组。

  • 如果您已有可用的机器组，请单击使用现有机器组。
  • 如果您还没有可用的机器组，请执行以下操作（以ECS为例）。在ECS机器页签中，通过手动选择实例方式选择目标ECS实例，单击立即执行。安装完成后，单击确认安装完毕。
  • 在创建机器组页面，输入名称，单击下一步。日志服务支持创建IP地址机器组和用户自定义标识机器组
3.  配置插件

同时监听UDP和TCP的示例配置如下：

{

    "inputs": [

        {

            "type": "service_syslog",

            "detail": {

                "Address": "tcp://127.0.0.1:9000",

                "ParseProtocol": "rfc3164"

            }

        },

        {

            "type": "service_syslog",

            "detail": {

                "Address": "udp://127.0.0.1:9001",

                "ParseProtocol": "rfc3164"

            }

        }

    ]

}

配置项

类型

是否必选

说明

type

string

是

数据源类型，固定为service_syslog。

Address

string

否

指定Logtail插件监听的协议、地址和端口，Logtail插件会根据Logtail采集配置进行监听并获取日志数据。格式为[tcp/udp]://[ip]:[port]。不配置时，默认为tcp://127.0.0.1:9999。

ParseProtocol

string

否

指定解析日志所使用的协议，默认为空，表示不解析。其中：

    • rfc3164：指定使用RFC3164协议解析日志。
    • rfc5424：指定使用RFC5424协议解析日志。
    • auto：指定插件根据日志内容自动选择合适的解析协议。

IgnoreParseFailure

boolean

否

指定解析失败后的操作，不配置时，默认为true，表示放弃解析，直接填充所返回的content字段。配置为false，表示解析失败时丢弃日志。


步骤3：验证采集结果



场景二：采集Windows系统Syslog

通过Windos的事件查看器，我们可以看到Windows系统的Syslog分成了两部分，一部分是Windows日志，一部分是应用程序和服务日志。

步骤1:  安装配置Rsyslog Windows Agent

安装步骤参考官网

通过Event Channels，我们可以选择rsyslog需要采集的日志

通过Rsyslog的配置，可以选择发送的目标地址（ip和端口）和发送的协议（TCP/UDP）

在Syslog Message Options的选项里，可以选择数据格式的协议，目前Logtail只支持解析rfc3164和rfc5424协议的数据。


步骤2:  创建采集配置

具体操作步骤同上，注意插件的配置需要和agent的配置相匹配：

{

   "inputs": [

       {

           "detail": {

               "ParseProtocol": "rfc3164",

               "Address": "tcp://192.168.0.171:1514"

           },

           "type": "service_syslog"

       }

   ]

}

步骤3: 验证采集结果

Syslog Test Message 工具

Rsyslog Windows agent提供了test message工具，可以将测试数据发送到指定的地址，用来确认网络的连通性。如果Logstore中没有成功采集到数据，使用此工具，可以验证是否有网络问题。

发送成功的样例

发送失败的样例

常见问题

  • 网络不通问题排查思路
  1. 端口是否被其他服务占用
  2. 是否有安全组配置或者防火墙等网络安全配置
  • 跨服务器转发syslog应该如何配置

例如有A（linux，192.168.0.171）和B（linux，192.168.0.172）两台服务器，Logtail可以只安装在其中一台上。

  • A和B的rsyslog 都使用如下配置，表示将所有的日志都通过TCP转发至192.168.0.171:1514即A 服务器上

*.* @@192.168.0.171:1514

  • 采集配置如下，即可监听192.168.0.171:1514端口，收集来自A和B两条机器上的数据

{

   "inputs": [

       {

           "detail": {

               "ParseProtocol": "rfc3164",

               "Address": "tcp://192.168.0.171:1514"

           },

           "type": "service_syslog"

       }

   ]

}




参考

文章标签：
云解析DNS
云服务器 ECS
日志服务
Cloud Native
弹性计算
监控
运维
Linux
Windows
网络安全
网络协议
安全
数据格式
关键词：
云解析DNS最佳实践
云解析DNS数据
最佳实践云解析DNS
logtail云解析DNS
采集云解析DNS
太业
目录
相关文章
土木林森
|
26天前
|
机器学习/深度学习 安全 大数据
揭秘！企业级大模型如何安全高效私有化部署？全面解析最佳实践，助你打造智能业务新引擎！
【10月更文挑战第24天】本文详细探讨了企业级大模型私有化部署的最佳实践，涵盖数据隐私与安全、定制化配置、部署流程、性能优化及安全措施。通过私有化部署，企业能够完全控制数据，确保敏感信息的安全，同时根据自身需求进行优化，提升计算性能和处理效率。示例代码展示了如何利用Python和TensorFlow进行文本分类任务的模型训练。
土木林森
73 6
申公豹
|
29天前
|
自然语言处理 数据可视化 前端开发
从数据提取到管理：合合信息的智能文档处理全方位解析【合合信息智能文档处理百宝箱】
合合信息的智能文档处理“百宝箱”涵盖文档解析、向量化模型、测评工具等，解决了复杂文档解析、大模型问答幻觉、文档解析效果评估、知识库搭建、多语言文档翻译等问题。通过可视化解析工具 TextIn ParseX、向量化模型 acge-embedding 和文档解析测评工具 markdown_tester，百宝箱提升了文档处理的效率和精确度，适用于多种文档格式和语言环境，助力企业实现高效的信息管理和业务支持。
申公豹
4005 5
从数据提取到管理：合合信息的智能文档处理全方位解析【合合信息智能文档处理百宝箱】
叫个什么名字
|
20天前
|
PHP 开发者 容器
PHP命名空间深度解析与最佳实践####
本文深入探讨了PHP中命名空间（namespace）的机制、应用场景及最佳实践，旨在帮助开发者有效避免命名冲突，提升代码的组织性和可维护性。通过实例讲解，本文将引导您理解如何在实际项目中灵活运用命名空间，以及如何遵循业界公认的最佳实践来优化您的PHP代码结构。 ####
叫个什么名字
36 4
喜欢猪猪
|
19天前
|
存储 分布式计算 Java
存算分离与计算向数据移动：深度解析与Java实现
【11月更文挑战第10天】随着大数据时代的到来，数据量的激增给传统的数据处理架构带来了巨大的挑战。传统的“存算一体”架构，即计算资源与存储资源紧密耦合，在处理海量数据时逐渐显露出其局限性。为了应对这些挑战，存算分离（Disaggregated Storage and Compute Architecture）和计算向数据移动（Compute Moves to Data）两种架构应运而生，成为大数据处理领域的热门技术。
喜欢猪猪
40 2
天下无贼001
|
19天前
|
PHP 开发者
PHP 7新特性深度解析及其最佳实践
【10月更文挑战第31天】本文将深入探讨PHP 7带来的革新，从性能提升到语法改进，再到错误处理机制的变革。我们将通过实际代码示例，展示如何高效利用这些新特性来编写更加健壮和高效的PHP应用。无论你是PHP新手还是资深开发者，这篇文章都将为你打开一扇窗，让你看到PHP 7的强大之处。
天下无贼001
31 1
lqj_本人
|
25天前
|
JavaScript API 开发工具
＜大厂实战场景＞ ~ Flutter&鸿蒙next 解析后端返回的 HTML 数据详解
本文介绍了如何在 Flutter 中解析后端返回的 HTML 数据。首先解释了 HTML 解析的概念，然后详细介绍了使用 `http` 和 `html` 库的步骤，包括添加依赖、获取 HTML 数据、解析 HTML 内容和在 Flutter UI 中显示解析结果。通过具体的代码示例，展示了如何从 URL 获取 HTML 并提取特定信息，如链接列表。希望本文能帮助你在 Flutter 应用中更好地处理 HTML 数据。
lqj_本人
103 1
土木林森
|
27天前
|
监控 安全 Serverless
"揭秘D2终端大会热点技术：Serverless架构最佳实践全解析，让你的开发效率翻倍，迈向技术新高峰！"
【10月更文挑战第23天】D2终端大会汇聚了众多前沿技术，其中Serverless架构备受瞩目。它让开发者无需关注服务器管理，专注于业务逻辑，提高开发效率。本文介绍了选择合适平台、设计合理函数架构、优化性能及安全监控的最佳实践，助力开发者充分挖掘Serverless潜力，推动技术发展。
土木林森
58 1
路人与大师
|
8天前
|
数据采集 存储 自然语言处理
基于Qwen2.5的大规模ESG数据解析与趋势分析多Agent系统设计
2022年中国上市企业ESG报告数据集，涵盖制造、能源、金融、科技等行业，通过Qwen2.5大模型实现报告自动收集、解析、清洗及可视化生成，支持单/多Agent场景，大幅提升ESG数据分析效率与自动化水平。
路人与大师
77 0
131王
|
1月前
|
监控 安全 Java
构建高效后端服务：微服务架构深度解析与最佳实践###
【10月更文挑战第19天】 在数字化转型加速的今天，企业对后端服务的响应速度、可扩展性和灵活性提出了更高要求。本文探讨了微服务架构作为解决方案，通过分析传统单体架构面临的挑战，深入剖析微服务的核心优势、关键组件及设计原则。我们将从实际案例入手，揭示成功实施微服务的策略与常见陷阱，为开发者和企业提供可操作的指导建议。本文目的是帮助读者理解如何利用微服务架构提升后端服务的整体效能，实现业务快速迭代与创新。 ###
131王
63 2
郑小健
|
1月前
|
存储 缓存 监控
深入解析：Elasticsearch集群性能调优策略与最佳实践
【10月更文挑战第8天】Elasticsearch 是一个分布式的、基于 RESTful 风格的搜索和数据分析引擎，它能够快速地存储、搜索和分析大量数据。随着企业对实时数据处理需求的增长，Elasticsearch 被广泛应用于日志分析、全文搜索、安全信息和事件管理（SIEM）等领域。然而，为了确保 Elasticsearch 集群能够高效运行并满足业务需求，需要进行一系列的性能调优工作。
郑小健
100 3
云存储

动手实践

热门文章

最新文章

  • 1
    技术干货：腾讯云为什么选择磁带库？
  • 2
    iLogtail社区版使用入门 - iLogtail日志处理实战
  • 3
    Fluentd/FluentBit K8s日志采集方案介绍
  • 4
    K8S采集专题-稳定性：iLogtail容器重启数据可靠性探讨
  • 5
    亿级异构任务调度框架设计与实践
  • 6
    云原生日志采集管理方案--Logging Operator
  • 7
    聊一聊并行文件系统的客户端优化之道
  • 8
    iLogtail社区版使用入门 - 如何将业务日志采集到Kafka
  • 9
    SLS控制台日志下载功能全新升级
  • 10
    【Logtail最佳实践】使用Logtail采集和解析Syslog数据
  • 1
    通过云存储网关事件告警了解网关使用常见问题
    97
  • 2
    “你不干？有的是帕鲁干！”幻兽帕鲁阿里云服务器游戏数据备份
    395
  • 3
    喜洋洋
    107
  • 4
    如何下载阿里云视频点播数据
    510
  • 5
    云存储网关SMB共享加入AD域实践
    429
  • 6
    百度云磁带库存储架构的设计与实践
    359
  • 7
    技术干货：腾讯云为什么选择磁带库？
    1417
  • 8
    亿级异构任务调度框架设计与实践
    1395
  • 9
    iLogtail社区版使用入门 - iLogtail日志处理实战
    2408
  • 10
    可观测数据采集端的管控方案的简单对比
    856

    • 相关课程

    更多
  • 第八届大学生创新创业大赛阿里命题IoT赛题解析
  • 云计算工程师解析与实战-网络专家篇（体验版）
  • 深入解析Docker容器化技术
  • Java面试疑难点解析 - 面试技巧及语言基础
  • Java面试疑难点解析 - Java Web开发
  • Java面试疑难点解析 - 系统架构及项目设计

    • 相关电子书

    更多
  • 神龙云服务器产品及技术深度解析
  • 弹性创造价值：基于ECS的最佳性价比实践解析
  • 又快又稳：阿里云下一代虚拟交换机解析

    • 相关实验场景

    更多
  • 日志服务之使用Nginx模式采集日志
  • 基于OpenTelemetry构建全链路追踪与监控
  • 使用CloudLens管理SLS日志采集
  • 使用CloudLens采集PolarDB日志并进行审计分析
  • 使用CloudLens采集RDS日志并进行审计分析
  • 使用日志服务SLS进行OSS可观测分析

    • 推荐镜像

    更多
  • DNS
  • kali-security
  • wireshark
    • 下一篇
    无影云桌面