iLogtail使用入门-主机环境日志采集到SLS

本文涉及的产品
对象存储 OSS,20GB 3个月
对象存储 OSS,恶意文件检测 1000次 1年
文件存储 NAS,50GB 3个月
简介: iLogtail是阿里云中简单日志服务又名“SLS”的采集部分。 它用于收集遥测数据,例如日志、跟踪和指标,目前已经正是开源(https://github.com/alibaba/ilogtail)。本文通过介绍ilogtail如何在主机环境进行安装、配置、使用的最简流程,帮助用户使用预编译版本快速上手ilogtail日志采集。

使用前准备

  • 开通阿里云账号(仅依赖日志服务写入数据)
  • 准备一台具备公网访问权限的X86-64 Linux服务器

开通日志服务

提示: 日志服务为后付费功能,试用后若删除logstore即不再计费

  1. 登录阿里云后进入控制台(https://console.aliyun.com/),在搜索栏输入“SLS”,选择“控制台入口”-“日志服务SLS”,根据提示开通日志服务。

创建日志配置

  1. 日志服务开通后,跳转到控制台,点击创建project。填入project相关属性,本教程中所属地域选择“华北6(乌兰察布)”(注意若使用阿里云ECS请在选择“所属区域”时与ECS的保持一致)。

  1. project创建成功后,会提示创建logstore(project和logstore属于包含关系,一个project下可创建多个logstore),点击创建logstore并按照提示进行配置,输入logstore名称后,点击“确认”。

  1. logstore创建成功后,会提示接入数据,点击“确定”并在“快速数据接入”对话框中搜索“单行”然后选择“单行-文本日志”。

  1. 进入“极简单行”配置界面,选择自建机器,并将安装命令复制下来用于服务器ilogtail的安装。请保持页面打开。

安装ilogtail

  1. 以root身份登陆Linux服务器,并输入复制的安装命令。该安装命令使用的是预编译的ilogtail二进制包,适用于绝大多数X86-64架构的Linux发行版,安装脚本依赖bash请提前确认安装。(注意此处举例的命令仅适用于Project地域为乌兰察布并使用公网采集的情况)
$ wget http://logtail-release-cn-wulanchabu.oss-cn-wulanchabu.aliyuncs.com/linux64/logtail.sh -O logtail.sh; chmod755 logtail.sh; ./logtail.sh install cn-wulanchabu-internet

控制台应该打印出类似以下的消息,代表安装成功。

systemd startup doneilogtail is running
install logtail success
start logtail success
{
"UUID" : "A3412556-C126-4D38-8959-AC8BB628F00D",
"hostname" : "iZhp38z91mt9hkn2ubltn9Z",
"instance_id" : "BFB9BC78-68A5-11EC-8A7E-00163E00FF4E_172.18.108.207_1640782163",
"ip" : "172.18.108.207",
"logtail_version" : "1.0.25",
"os" : "Linux; 4.18.0-348.2.1.el8_5.x86_64; #1 SMP Tue Nov 16 14:42:35 UTC 2021; x86_64",
"update_time" : "2021-12-29 20:49:23"}
  1. 确认ilogtail正常运行。ilogtail在运行的时候会有两个进程,可通过ps -ef | grep ilogtail命令查看。同时可调用ilogtail自带的命令查看/etc/init.d/ilogtaild status。成功执行情况如下
$ ps-ef | grep logtail
root        15771020:49 ?        00:00:00 /usr/local/ilogtail/ilogtail
root        15791577020:49 ?        00:00:00 /usr/local/ilogtail/ilogtail
root        18311197021:09 pts/0    00:00:00 grep--color=auto logtail
$ ps-ef | grep ilogtail
root        15771020:49 ?        00:00:00 /usr/local/ilogtail/ilogtail
root        15791577020:49 ?        00:00:00 /usr/local/ilogtail/ilogtail
root        18331197021:09 pts/0    00:00:00 grep--color=auto ilogtail
$ /etc/init.d/ilogtaild status
ilogtail is running
  1. 从阿里云控制台复制帐号ID,创建用户标识文件。(注意不要使用子账号ID)

$ touch /etc/ilogtail/users/****************

完成日志配置

  1. 回到Web界面,单击页面右下角的“确认安装完毕”。

  1. 跳转到机器组配置界面,按照提示填写表格,其中IP地址栏填写Linux服务器的地址,配置完成后点击“下一步”。(若服务器有多个ip地址请填写安装ilogtail时回显的ip地址,也可以通过cat /usr/local/ilogtail/app_info.json获得)

  1. 跳转到选择机器组界面。勾选刚刚创建的机器组,点击“>”加入应用机器组,然后点击“下一步”进入ilogtail配置。

  1. 在ilogtail配置中仅修改“配置名称”和“日志路径”两个必填项,点击“下一步”确认。

  1. 完成索引配置。这一步不对任何选项进行修改,直接点击下一步完成配置。

此时,整个日志配置已经完成。请保持页面打开。

上报日志并查看

  1. 登陆Linux服务器,输入如下命令持续生成日志。
$ whiletrue; doecho$(date) >>/tmp/demo.log; sleep10; done
  1. 回到Web控制台,点击配置完成界面的“查询日志”跳转到日志查询界面。点击页面左侧的“放大镜”图标,选中logstore,点击“眼睛”图标,在左侧出现的“消费预览”侧边栏中尝试调整Shard和时间范围,点击预览查看上报的日志。

What's Next

你可以进入下一节学习《ilogtail使用入门-K8S环境日志采集到SLS

了解主机采集原理《Logtail采集原理

也可以学习ilogtail采集的更多用法:

相关实践学习
【涂鸦即艺术】基于云应用开发平台CAP部署AI实时生图绘板
【涂鸦即艺术】基于云应用开发平台CAP部署AI实时生图绘板
相关文章
|
5月前
|
监控 Kubernetes Go
日志采集效能跃迁:iLogtail 到 LoongCollector 的全面升级
LoongCollector 在日志场景中实现了全面的重磅升级,从功能、性能、稳定性等各个方面均进行了深度优化和提升,本文我们将对 LoongCollector 的升级进行详细介绍。
446 86
|
3月前
|
数据采集 存储 大数据
大数据之路:阿里巴巴大数据实践——日志采集与数据同步
本资料全面介绍大数据处理技术架构,涵盖数据采集、同步、计算与服务全流程。内容包括Web/App端日志采集方案、数据同步工具DataX与TimeTunnel、离线与实时数仓架构、OneData方法论及元数据管理等核心内容,适用于构建企业级数据平台体系。
|
存储 运维 开发工具
警惕日志采集失败的 6 大经典雷区:从本地管理反模式到 LoongCollector 标准实践
本文探讨了日志管理中的常见反模式及其潜在问题,强调科学的日志管理策略对系统可观测性的重要性。文中分析了6种反模式:copy truncate轮转导致的日志丢失或重复、NAS/OSS存储引发的采集不一致、多进程写入造成的日志混乱、创建文件空洞释放空间的风险、频繁覆盖写带来的数据完整性问题,以及使用vim编辑日志文件导致的重复采集。针对这些问题,文章提供了最佳实践建议,如使用create模式轮转日志、本地磁盘存储、单线程追加写入等方法,以降低日志采集风险,提升系统可靠性。最后总结指出,遵循这些实践可显著提高故障排查效率和系统性能。
667 20
|
4月前
|
存储 运维 开发工具
警惕日志采集失败的 6 大经典雷区:从本地管理反模式到 LoongCollector 标准实践
本文总结了日志管理中的六大反模式及优化建议,涵盖日志轮转、存储选择、并发写入等常见问题,帮助提升日志采集的完整性与系统可观测性,适用于运维及开发人员优化日志管理策略。
118 5
|
4天前
|
存储 Kubernetes 监控
Kubernetes日志管理:使用Loki进行日志采集
通过以上步骤,在Kubernetes环境下利用LoKi进行有效率且易于管理地logs采集变成可能。此外,在实施过程中需要注意版本兼容性问题,并跟进社区最新动态以获取功能更新或安全补丁信息。
50 23
|
2月前
|
存储 缓存 Apache
StarRocks+Paimon 落地阿里日志采集:万亿级实时数据秒级查询
A+流量分析平台是阿里集团统一的全域流量数据分析平台,致力于通过埋点、采集、计算构建流量数据闭环,助力业务提升流量转化。面对万亿级日志数据带来的写入与查询挑战,平台采用Flink+Paimon+StarRocks技术方案,实现高吞吐写入与秒级查询,优化存储成本与扩展性,提升日志分析效率。
269 1
|
5月前
|
存储 缓存 Apache
StarRocks+Paimon 落地阿里日志采集:万亿级实时数据秒级查询
本文介绍了阿里集团A+流量分析平台的日志查询优化方案,针对万亿级日志数据的写入与查询挑战,提出基于Flink、Paimon和StarRocks的技术架构。通过Paimon存储日志数据,结合StarRocks高效计算能力,实现秒级查询性能。具体包括分桶表设计、数据缓存优化及文件大小控制等措施,解决高并发、大数据量下的查询效率问题。最终,日志查询耗时从分钟级降至秒级,显著提升业务响应速度,并为未来更低存储成本、更高性能及更多业务场景覆盖奠定基础。
|
3月前
|
JSON 安全 网络安全
LoongCollector 安全日志接入实践:企业级防火墙场景的日志标准化采集
LoonCollector 是一款轻量级日志采集工具,支持多源安全日志的标准化接入,兼容 Syslog、JSON、CSV 等格式,适用于长亭 WAF、FortiGate、Palo Alto 等主流安全设备。通过灵活配置解析规则,LoonCollector 可将原始日志转换为结构化数据,写入阿里云 SLS 日志库,便于后续查询分析、威胁检测与合规审计,有效降低数据孤岛问题,提升企业安全运营效率。
|
6月前
|
监控 算法 测试技术
突破极限: 高负载场景下的单机300M多行正则日志采集不是梦
在当今数字化时代,日志数据已成为企业 IT 运营和业务分析的关键资源。然而,随着业务规模的扩大和系统复杂度的提升,日志数据的体量呈现爆发式增长,给日志采集和处理系统带来了巨大挑战。
494 99

热门文章

最新文章

相关产品

  • 日志服务