阿里云日志服务(SLS)安装使用方法简介

本文涉及的产品
对象存储 OSS,20GB 3个月
云备份 Cloud Backup,100GB 3个月
对象存储 OSS,恶意文件检测 1000次 1年
简介: 阿里云日志服务(SLS)入门简介,包括如何安装、配置、使用整个简单流程,帮助用户快速上手日志服务。文档最后介绍了日志服务一些高级特性和功能,用户可根据需求选择使用相应的功能

使用前准备

  • 开通阿里云账号
  • 申请一台阿里云服务器(Elastic Compute Service,简称 ECS)

开通日志服务

  1. 登录阿里云后进入控制台,选择产品与服务-日志服务,根据提示开通日志服务
    选择日志服务

创建日志配置

  1. 日志服务开通后,跳转到控制台,点击创建project
    创建project

  2. 填入project相关属性,注意所属区域要填成你申请的阿里云服务器(ECS)对应所在的区域
    配置创建project

  3. project创建成功后,会提示创建logstore(project和logstore属于包含关系,一个project下可创建多个logstore),点击创建logstore并按照提示进行配置,这里我们输入logstore名称,其他使用默认配置
    创建logstore
    配置logstore

  4. logstore创建成功后,会提示通过创建logtail或Api等其他形式接入日志,这里我们直接点击“创建配置”
    创建logtail配置

  5. logtail配置总共需要3个步骤:选择数据源、指定收集模式以及应用到机器组。其中数据源目前有文本文件和syslog两种,文本文件支持各类写在本地的文本型日志文件,syslog模式专门收集syslog类型的日志,这里我们选择比较通用的文本文件;收集模式有很多配置,这里我们选择最简单也是默认的“极简模式”,路径分为两部分,前面填写的是监听的应用程序产生日志的根目录,后面填写的是具体日志文件名称的模式,这里我们前面填上日志根目录/data/log ,后面填上日志名模式*.log,点击下一步

    • 注意:日志根目录需要填写存在的目录
      创建logtail配置
  6. 创建完logtail配置后,会提示创建机器组,点击创建并输入阿里云服务器(ECS)的ip地址
    创建机器组

  7. 创建后应用该机器组
    应用机器组

  8. 配置完毕后,页面自动跳转到日志服务控制台,可以看到里面有很多具体的服务项。下面我们在配置的机器组上安装日志服务的客户端logtail,测试配置是否与我们预期一致。
    日志服务控制台

安装logtail

Linux上安装

  1. ssh远程登录到阿里云服务器(Elastic Compute Service,简称 ECS),根据你虚拟机所在区域选择安装方式
    logtail 安装方法-Linux
  2. 安装logtail,例如位于深圳区域(华南1区)的主机120.25.xxx.xxx,安装方法如下:

    ssh root@120.25.xxx.xxxwget http://logtail-release-sz.oss-cn-shenzhen-internal.aliyuncs.com/linux64/logtail.shchmod 755 logtail.shsh logtail.sh install cn_shenzhen
    AI 代码解读
    • 这个时候控制台应该打印出类似以下的消息,代表安装成功:
      logtail-linux64.tar.gz download successinstall logtai files successadd ilogtail into /etc/rc.d/ successinstall logtail successilogtail is runningstart logtail success{
             "UUID" : "EC9272DA-8C03-4359-8B54-FF45EBBC988D","hostname" : "iZwz9cqgr7gw6n0gwr3pggZ","instance_id" : "581A0E7E-B1F3-11E6-AA12-00163E046C92","ip" : "10.116.95.193","logtail_version" : "0.12.0","os" : "Linux; 3.10.0-327.22.2.el7.x86_64; #1 SMP Thu Jun 23 17:05:11 UTC 2016; x86_64","update_time" : "2017-04-03 09:41:05"}
      AI 代码解读
  3. 确认logtail正在运行中
    logtail在运行的时候会有两个进程,可通过ps -ef | grep logtail命令查看
    同时可调用logtail自带的命令查看/etc/init.d/ilogtaild status
    安装成功执行情况如下:

    ps -ef | grep logtailroot      8350     1  0 09:41 ?        00:00:00 /usr/local/ilogtail/ilogtailroot      8352  8350  0 09:41 ?        00:00:02 /usr/local/ilogtail/ilogtailroot      8391  8255  0 10:00 pts/0    00:00:00 grep --color=auto logtail/etc/init.d/ilogtaild statusilogtail is running
    AI 代码解读

windows上安装

  1. 下载安装包并解压
  2. 进入logtail_installer目录,按住shift点击鼠标右键进入控制台,根据机器网络环境和日志服务所在Region(可选择虚拟机所在的网络分区)进行安装。例如深圳地区的ECS可以输入.\logtail_installer.exe install cn_shenzhen
  3. 安装完成后,可在windows资源管理器的服务选项中看到当前有两个logtail服务在运行
  • 至此我们机器上的logtail客户端就安装完成了,logtail启动后会自动从服务器拉取我们之前的配置文件,后面我们也可以随时更新配置文件,更新操作会在3分钟后生效。

简单体验日志服务的功能

  1. 输入测试样例
    这时候我们进入/data/log目录,创建文件xx.log并输入以下内容,保存退出

    loginfologinfologerrorlogerrorlogwarning:logerror:dddloginfo:dsfsaflogerror:sfsafsdf
    AI 代码解读
  2. 预览日志
    样例日志输入完毕后,进入浏览器的日志服务控制台,点击日志库中的预览链接(如果预览中看不到,可能是因为shard没有选择对,可以选择shard1再次点击预览)。至此说明我们最简单的日志服务已经走通了,接下来我们尝试体验下索引功能


    日志预览
  • 如果发现查看不到日志,可使用logtail的快速检测工具进行问题排查

体验日志索引功能

  1. 开通日志索引
    进入浏览器的日志服务控制台,点击日志库中的查询链接,首次进入后需要开通查询服务

  2. 输入测试样例
    开通之前的日志并不会创建索引,不能直接查询,所以我们可以再次打开xx.log文件,在后面再次追加上之前的日志内容

  3. 体验索引功能
    日志索引查询中,有很多参数可以设置,这里我们只关注搜索内容以及搜索时间两个参数

  • 直接查询:在查询页面中直接点击查询便可看到我们之前输入的日志


    日志索引
  • 关键字搜索:在搜索栏中输入logerror,点击查询(若查询不到,可能是日志产生的时间超过了15分钟,我们可以选择1小时)可搜索到日志内容符合logerror的日志项


    日志索引
  • 关键字组合:如果我们需要搜索指定的logerror内容,例如logerror中内容为ddd的日志项,则我们输入logerror and ddd点击查询


    日志索引
  • 搜索指定机器:实际环境中可能有很多机器,有时需要定位到具体某台机器时,可输入该机器的hostname或ip地址,输入的查询方法可以是logerror and ddd and __tag__:__hostname__:xxxlogerror and ddd and ***.***.***.***


    日志索引
  • 注意这只是索引部分最简单的功能,这里还有很多高级功能等你挖掘

更多功能

至此我们已经体验了日志服务一些最基本的功能,然而我们实际场景中的应用数量、日志格式、集群规模较大,日志的存储、访问、索引、告警、分析方式多样,这时候才能体现出阿里云日志服务的作用,例如:

日志收集

  • 通过多个project、logstore和logtail配置,用来支持多个项目和应用
  • 在集群规模不断扩大时,收集的日志数越多来多,这时候可以使用日志分区(shard)的水平扩展功能来应对逐渐膨胀的日志需求
  • 实际生产环境中的日志不一定简单的按行来区分,而且从日志中也需要收集很多字段信息,例如时间、用户ID、操作、操作结果等。这时可使用logtail的多种日志格式支持功能
  • 如果有收集系统中syslog日志的需求,您可以通过logtail的syslog服务
  • 更多收集方式:通过Tracking功能采集HTML、H5、iOS和Android平台的数据;通过log4j-appender接入log4j日志;使用producer-lib进行高性能日志收集;收集unity3d日志
  • 此外,如果以上功能并不能满足您的日志收集需求,您可通过Api自定义写入日志

日志的利用

  • 根据应用的特点,选择使用实时消费还是日志索引
  • 使用APIStormStreamComputeSpark Streaming对日志进行实时分析处理
  • 将日志投递到OSS、Table Store、MaxCompute 等存储类产品,用于存储以及后续分析利用
  • 根据日志格式以及应用需求创建索引,便于各类人员通过日志关键字索引查看系统状态(除了支持全局索引外,还支持键值对的映射,可用指定字段值(int, double类型)的范围来对日志进行精确搜索)
  • 根据应用特点从多种搜索方法中选取适用的搜索方法,快速定位问题
  • 设置日志的自动报警规则,实现无人值守
相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
目录
打赏
0
1
0
0
79059
分享
相关文章
网络安全视角:从地域到账号的阿里云日志审计实践
日志审计的必要性在于其能够帮助企业和组织落实法律要求,打破信息孤岛和应对安全威胁。选择 SLS 下日志审计应用,一方面是选择国家网络安全专用认证的日志分析产品,另一方面可以快速帮助大型公司统一管理多组地域、多个账号的日志数据。除了在日志服务中存储、查看和分析日志外,还可通过报表分析和告警配置,主动发现潜在的安全威胁,增强云上资产安全。
152 12
什么是Apache日志?为什么Apache日志分析很重要?
Apache是全球广泛使用的Web服务器软件,支持超过30%的活跃网站。它通过接收和处理HTTP请求,与后端服务器通信,返回响应并记录日志,确保网页请求的快速准确处理。Apache日志分为访问日志和错误日志,对提升用户体验、保障安全及优化性能至关重要。EventLog Analyzer等工具可有效管理和分析这些日志,增强Web服务的安全性和可靠性。
MySQL日志详解——日志分类、二进制日志bin log、回滚日志undo log、重做日志redo log
MySQL日志详解——日志分类、二进制日志bin log、回滚日志undo log、重做日志redo log、原理、写入过程;binlog与redolog区别、update语句的执行流程、两阶段提交、主从复制、三种日志的使用场景;查询日志、慢查询日志、错误日志等其他几类日志
MySQL日志详解——日志分类、二进制日志bin log、回滚日志undo log、重做日志redo log
MySQL原理简介—7.redo日志的底层原理
本文介绍了MySQL中redo日志和undo日志的主要内容: 1. redo日志的意义:确保事务提交后数据不丢失,通过记录修改操作并在系统宕机后重做日志恢复数据。 2. redo日志文件构成:记录表空间号、数据页号、偏移量及修改内容。 3. redo日志写入机制:redo日志先写入Redo Log Buffer,再批量刷入磁盘文件,减少随机写以提高性能。 4. Redo Log Buffer解析:描述Redo Log Buffer的内存结构及刷盘时机,如事务提交、Buffer过半或后台线程定时刷新。 5. undo日志原理:用于事务回滚,记录插入、删除和更新前的数据状态,确保事务可完整回滚。
MySQL事务日志-Undo Log工作原理分析
事务的持久性是交由Redo Log来保证,原子性则是交由Undo Log来保证。如果事务中的SQL执行到一半出现错误,需要把前面已经执行过的SQL撤销以达到原子性的目的,这个过程也叫做"回滚",所以Undo Log也叫回滚日志。
MySQL事务日志-Undo Log工作原理分析
网络安全视角:从地域到账号的阿里云日志审计实践
日志审计的必要性在于其能够帮助企业和组织落实法律要求,打破信息孤岛和应对安全威胁。选择 SLS 下日志审计应用,一方面是选择国家网络安全专用认证的日志分析产品,另一方面可以快速帮助大型公司统一管理多组地域、多个账号的日志数据。除了在日志服务中存储、查看和分析日志外,还可通过报表分析和告警配置,主动发现潜在的安全威胁,增强云上资产安全。
阿里云DTS踩坑经验分享系列|SLS同步至ClickHouse集群
作为强大的日志服务引擎,SLS 积累了用户海量的数据。为了实现数据的自由流通,DTS 开发了以 SLS 为源的数据同步插件。目前,该插件已经支持将数据从 SLS 同步到 ClickHouse。通过这条高效的同步链路,客户不仅能够利用 SLS 卓越的数据采集和处理能力,还能够充分发挥 ClickHouse 在数据分析和查询性能方面的优势,帮助企业显著提高数据查询速度,同时有效降低存储成本,从而在数据驱动决策和资源优化配置上取得更大成效。
182 9
什么是事件日志管理系统?事件日志管理系统有哪些用处?
事件日志管理系统是IT安全的重要工具,用于集中收集、分析和解释来自组织IT基础设施各组件的事件日志,如防火墙、路由器、交换机等,帮助提升网络安全、实现主动威胁检测和促进合规性。系统支持多种日志类型,包括Windows事件日志、Syslog日志和应用程序日志,通过实时监测、告警及可视化分析,为企业提供强大的安全保障。然而,实施过程中也面临数据量大、日志管理和分析复杂等挑战。EventLog Analyzer作为一款高效工具,不仅提供实时监测与告警、可视化分析和报告功能,还支持多种合规性报告,帮助企业克服挑战,提升网络安全水平。
115 2
使用阿里云日志服务采集查询kubernetes容器日志
使用阿里云日志收集查询kubernetes容器日志
2948 0
【日志框架整合】Slf4j、Log4j、Log4j2、Logback配置模板
本文介绍了Java日志框架的基本概念和使用方法,重点讨论了SLF4J、Log4j、Logback和Log4j2之间的关系及其性能对比。SLF4J作为一个日志抽象层,允许开发者使用统一的日志接口,而Log4j、Logback和Log4j2则是具体的日志实现框架。Log4j2在性能上优于Logback,推荐在新项目中使用。文章还详细说明了如何在Spring Boot项目中配置Log4j2和Logback,以及如何使用Lombok简化日志记录。最后,提供了一些日志配置的最佳实践,包括滚动日志、统一日志格式和提高日志性能的方法。
963 31
【日志框架整合】Slf4j、Log4j、Log4j2、Logback配置模板

云存储

+关注

相关产品

  • 日志服务
  • AI助理

    你好,我是AI助理

    可以解答问题、推荐解决方案等