Logtail从入门到精通(二):开启日志采集之旅

本文涉及的产品
对象存储 OSS,OSS 加速器 50 GB 1个月
简介: 为了更好的了解日志采集,这里我们首先对日志采集中遇到的基本概念进行简要的介绍。

Logtail相关概念


为了更好的了解日志采集,这里我们首先对日志采集中遇到的基本概念进行简要的介绍。


概念介绍


  • 项目: 项目(Project)是日志服务中的资源管理单元,用于资源隔离和控制。您可以通过项目来管理某一个应用的所有日志及相关的日志源。它管理着用户的所有日志库(Logstore),采集日志的机器配置等信息,同时它也是用户访问日志服务资源的入口。
  • 日志库: 日志库(Logstore)是日志服务中日志数据的采集、存储和查询单元。每个日志库隶属于一个项目,且每个项目可以创建多个日志库。
  • Logtail客户端: Logtail是一款执行日志收集工作的Agent,一般安装在需要收集日志的服务器上,作为独立软件运行。
  • 机器组: 一个机器组包含一或多台需要收集一类日志的机器。通过绑定一组Logtail配置到一个机器组,可以让日志服务根据同样的Logtail配置采集一个机器组内所有服务器上的日志。
  • 采集配置: 是Logtail收集日志的策略集合,采集配置一般包括需要采集的数据源、解析方式、过滤方式等参数,所有采集配置均在控制台进行管理。


各概念间关系


c4550e27-6622-4349-ba39-dda308b91539.png


  1. 日志库直接负责日志存储,所有Logtail采集的数据最终都会存储到日志库中。
  2. 日志库由项目进行管理,项目和日志库的关系类似于数据库和表之间的关系。
  3. 一个日志库中可包含多个不同的采集配置,日志库下的采集配置默认将数据采集到该日志库。
  4. 采集配置并不直接应用于Logtail客户端,而是应用于中间层的机器组,便于大规模集群和应用的灵活管理。
  5. 一个Logtail可属于多个机器组,一个机器组可包含多个Logtail,实现Logtail与机器组的解耦。
  6. 一个采集配置可应用到多个机器组,一个机器组可关联多个采集配置,实现机器组与采集配置的解耦。


安装配置流程


674f7596-d4bb-4cc9-8ebb-531ec75eae56.png


Logtail的安装配置流程相对比较简单,如果日志服务和ECS在同一账号下,则只需5个步骤即可实现采集。


  • 日志服务已经和ECS打通,可自动获取ECS对应的owner信息,因此不需要设置aliuid信息


安装Logtail


ECS安装


  1. 购买一台ECS

75f5f107-bf3b-4474-9b73-9aadba2631f7.png

  1. 根据ECS所在区域选择Logtail安装脚本(参见Logtail安装指南
  1. 使用/etc/init.d/ilogtaild status检查Logtail运行状态,如输出ilogtail is running表示安装成功


439eba73-e48a-47c3-b84b-0815825ea47f.png


自建主机安装


  1. 选择任意公网Logtail安装脚本(参见Logtail安装指南
  1. 使用/etc/init.d/ilogtaild status检查Logtail运行状态,如输出ilogtail is running表示安装成功
  2. 配置账号标识文件(参见非本人ECS/线下机器,配置完成后无需重启Logtail)


配置


创建项目和日志库


  1. 在阿里云官网产品中选择日志服务直接点击进入日志服务控制台,若您当前没有开通,会提示您开通日志服务,点击开通
  2. 点击创建Project按钮,地域(Region)中选择Logtail安装时所选的地域,例如选择华东1(杭州)

419ec036-fa3e-4c07-b567-775f700f8209.png

8b4ce18d-1166-4a31-977c-07e0955c617a.png

  1. Project创建成功后会提示创建Logstore,点击创建;这里我们输入Logstore名称,其他参数无需修改,点击确认

38609c4e-4219-4d62-9a73-ab8c22e30911.png


创建采集配置


  1. Logstore创建完毕后,会提示进行数据接入。如下图所示,可通过三个入口创建采集配置:

3468fe62-71a6-4f66-886f-43e27a2c1771.png

  1. 在弹出的数据接入页面中,我们选择自定义数据中的文本文件接入。

e90b34e5-57b0-4ef3-a481-861bd8f255aa.png

  1. 在采集配置中我们选择极简模式,日志路径中的文件夹和文件名分别输入/var/logmessage,点击下一步。

61c20f39-c31b-428d-983d-9ab6421e0281.png


创建机器组并应用


  1. 配置页面点击下一步后,会提示您选择机器组,这里我们点击创建机器组

cb7de613-90bd-438d-bf19-da664b2d379c.png

  1. 机器组配置页面中选择IP地址类型的机器组,IP输入ECS的内网IP(Logtail获取的IP地址可通过cat /usr/local/ilogtail/app_info.json查看)

c3aa2deb-ef35-4d5e-94f2-0f42834d3d84.png

  1. 保存机器组后,勾选该机器组并点击应用到机器组。后续设置无需关心,直接点击下一步。

a967c0ee-86f2-4efb-a47e-d067c5ef037a.png

查看日志


此时采集配置已经创建完毕,您可以尝试退出重新登录主机或输入命令echo "test message" >> /var/log/message,这时本地/var/log/message文件会有新的日志产生,Logtail就会采集到这些数据了。


点击日志库页面预览查询链接,即可看到Logtail采集上来的日志了。


cbdaacf7-663f-4ccd-8924-90510db6e7e9.png

59a5bed1-fe70-42a6-aabf-4921eb4e2328.png

f09e977a-7096-4429-a530-7746048c06b8.png

相关实践学习
通过日志服务实现云资源OSS的安全审计
本实验介绍如何通过日志服务实现云资源OSS的安全审计。
目录
相关文章
|
8月前
|
数据采集 存储 大数据
大数据之路:阿里巴巴大数据实践——日志采集与数据同步
本资料全面介绍大数据处理技术架构,涵盖数据采集、同步、计算与服务全流程。内容包括Web/App端日志采集方案、数据同步工具DataX与TimeTunnel、离线与实时数仓架构、OneData方法论及元数据管理等核心内容,适用于构建企业级数据平台体系。
790 1
|
存储 运维 开发工具
警惕日志采集失败的 6 大经典雷区:从本地管理反模式到 LoongCollector 标准实践
本文探讨了日志管理中的常见反模式及其潜在问题,强调科学的日志管理策略对系统可观测性的重要性。文中分析了6种反模式:copy truncate轮转导致的日志丢失或重复、NAS/OSS存储引发的采集不一致、多进程写入造成的日志混乱、创建文件空洞释放空间的风险、频繁覆盖写带来的数据完整性问题,以及使用vim编辑日志文件导致的重复采集。针对这些问题,文章提供了最佳实践建议,如使用create模式轮转日志、本地磁盘存储、单线程追加写入等方法,以降低日志采集风险,提升系统可靠性。最后总结指出,遵循这些实践可显著提高故障排查效率和系统性能。
1649 21
|
9月前
|
存储 运维 开发工具
警惕日志采集失败的 6 大经典雷区:从本地管理反模式到 LoongCollector 标准实践
本文总结了日志管理中的六大反模式及优化建议,涵盖日志轮转、存储选择、并发写入等常见问题,帮助提升日志采集的完整性与系统可观测性,适用于运维及开发人员优化日志管理策略。
341 5
|
5月前
|
数据采集 缓存 大数据
【赵渝强老师】大数据日志采集引擎Flume
Apache Flume 是一个分布式、可靠的数据采集系统,支持从多种数据源收集日志信息,并传输至指定目的地。其核心架构由Source、Channel、Sink三组件构成,通过Event封装数据,保障高效与可靠传输。
365 1
|
10月前
|
存储 缓存 Apache
StarRocks+Paimon 落地阿里日志采集:万亿级实时数据秒级查询
本文介绍了阿里集团A+流量分析平台的日志查询优化方案,针对万亿级日志数据的写入与查询挑战,提出基于Flink、Paimon和StarRocks的技术架构。通过Paimon存储日志数据,结合StarRocks高效计算能力,实现秒级查询性能。具体包括分桶表设计、数据缓存优化及文件大小控制等措施,解决高并发、大数据量下的查询效率问题。最终,日志查询耗时从分钟级降至秒级,显著提升业务响应速度,并为未来更低存储成本、更高性能及更多业务场景覆盖奠定基础。
|
6月前
|
存储 Kubernetes 监控
Kubernetes日志管理:使用Loki进行日志采集
通过以上步骤,在Kubernetes环境下利用LoKi进行有效率且易于管理地logs采集变成可能。此外,在实施过程中需要注意版本兼容性问题,并跟进社区最新动态以获取功能更新或安全补丁信息。
449 16
|
7月前
|
存储 缓存 Apache
StarRocks+Paimon 落地阿里日志采集:万亿级实时数据秒级查询
A+流量分析平台是阿里集团统一的全域流量数据分析平台,致力于通过埋点、采集、计算构建流量数据闭环,助力业务提升流量转化。面对万亿级日志数据带来的写入与查询挑战,平台采用Flink+Paimon+StarRocks技术方案,实现高吞吐写入与秒级查询,优化存储成本与扩展性,提升日志分析效率。
1009 1
|
8月前
|
JSON 安全 网络安全
LoongCollector 安全日志接入实践:企业级防火墙场景的日志标准化采集
LoonCollector 是一款轻量级日志采集工具,支持多源安全日志的标准化接入,兼容 Syslog、JSON、CSV 等格式,适用于长亭 WAF、FortiGate、Palo Alto 等主流安全设备。通过灵活配置解析规则,LoonCollector 可将原始日志转换为结构化数据,写入阿里云 SLS 日志库,便于后续查询分析、威胁检测与合规审计,有效降低数据孤岛问题,提升企业安全运营效率。
|
10月前
|
消息中间件 存储 JSON
日志采集 Agent 性能大比拼——LoongCollector 性能深度测评
为了展现 LoongCollector 的卓越性能,本文通过纵向(LoongCollector 与 iLogtail 产品升级对比)和横向(LoongCollector 与其他开源日志采集 Agent 对比)两方面对比,深度测评不同采集 Agent 在常见的日志采集场景下的性能。
933 35
|
8月前
|
存储
WGLOG日志管理系统可以采集网络设备的日志吗
WGLOG日志审计系统提供开放接口,支持外部获取日志内容后发送至该接口,实现日志的存储与分析。详情请访问:https://www.wgstart.com/wglog/docs9.html

相关产品

  • 日志服务