阿里云日志服务(SLS)安装使用方法简介

本文涉及的产品
对象存储 OSS,20GB 3个月
对象存储 OSS,恶意文件检测 1000次 1年
对象存储 OSS,内容安全 1000次 1年
简介: 阿里云日志服务(SLS)入门简介,包括如何安装、配置、使用整个简单流程,帮助用户快速上手日志服务。文档最后介绍了日志服务一些高级特性和功能,用户可根据需求选择使用相应的功能

使用前准备

  • 开通阿里云账号
  • 申请一台阿里云服务器(Elastic Compute Service,简称 ECS)

开通日志服务

  1. 登录阿里云后进入控制台,选择产品与服务-日志服务,根据提示开通日志服务
    选择日志服务

创建日志配置

  1. 日志服务开通后,跳转到控制台,点击创建project
    创建project
  2. 填入project相关属性,注意所属区域要填成你申请的阿里云服务器(ECS)对应所在的区域
    配置创建project
  3. project创建成功后,会提示创建logstore(project和logstore属于包含关系,一个project下可创建多个logstore),点击创建logstore并按照提示进行配置,这里我们输入logstore名称,其他使用默认配置
    创建logstore

配置logstore

  1. logstore创建成功后,会提示通过创建logtail或Api等其他形式接入日志,这里我们直接点击“创建配置”
    创建logtail配置
  2. logtail配置总共需要3个步骤:选择数据源、指定收集模式以及应用到机器组。其中数据源目前有文本文件和syslog两种,文本文件支持各类写在本地的文本型日志文件,syslog模式专门收集syslog类型的日志,这里我们选择比较通用的文本文件;收集模式有很多配置,这里我们选择最简单也是默认的“极简模式”,路径分为两部分,前面填写的是监听的应用程序产生日志的根目录,后面填写的是具体日志文件名称的模式,这里我们前面填上日志根目录/data/log ,后面填上日志名模式*.log,点击下一步

    • 注意:日志根目录需要填写存在的目录
      创建logtail配置
  3. 创建完logtail配置后,会提示创建机器组,点击创建并输入阿里云服务器(ECS)的ip地址
    创建机器组
  4. 创建后应用该机器组
    应用机器组
  5. 配置完毕后,页面自动跳转到日志服务控制台,可以看到里面有很多具体的服务项,具体使用方式参见日志服务参考文档。下面我们在配置的机器组上安装日志服务的客户端logtail,测试配置是否与我们预期一致。
    日志服务控制台

安装logtail

Linux上安装

  1. ssh远程登录到阿里云服务器(Elastic Compute Service,简称 ECS),根据你虚拟机所在区域选择安装方式
    logtail 安装方法-Linux
  2. 安装logtail,例如位于深圳区域(华南1区)的主机120.25.xxx.xxx,安装方法如下:

ssh root@120.25.xxx.xxx
wget http://logtail-release-sz.oss-cn-shenzhen-internal.aliyuncs.com/linux64/logtail.sh
chmod 755 logtail.sh
sh logtail.sh install cn_shenzhen

  • 这个时候控制台应该打印出类似以下的消息,代表安装成功:

logtail-linux64.tar.gz download success
install logtai files success
add ilogtail into /etc/rc.d/ success
install logtail success
ilogtail is running
start logtail success
{
"UUID" : "EC9272DA-8C03-4359-8B54-FF45EBBC988D",
"hostname" : "iZwz9cqgr7gw6n0gwr3pggZ",
"instance_id" : "581A0E7E-B1F3-11E6-AA12-00163E046C92",
"ip" : "10.116.95.193",
"logtail_version" : "0.12.0",
"os" : "Linux; 3.10.0-327.22.2.el7.x86_64; #1 SMP Thu Jun 23 17:05:11 UTC 2016; x86_64",
"update_time" : "2017-04-03 09:41:05"
}

  1. 确认logtail正在运行中
    logtail在运行的时候会有两个进程,可通过ps -ef | grep logtail命令查看

同时可调用logtail自带的命令查看/etc/init.d/ilogtaild status
安装成功执行情况如下:


ps -ef | grep logtail
root 8350 1 0 09:41 ? 00:00:00 /usr/local/ilogtail/ilogtail
root 8352 8350 0 09:41 ? 00:00:02 /usr/local/ilogtail/ilogtail
root 8391 8255 0 10:00 pts/0 00:00:00 grep --color=auto logtail
/etc/init.d/ilogtaild status
ilogtail is running

windows上安装

  1. 下载安装包并解压
  2. 进入logtail_installer目录,按住shift点击鼠标右键进入控制台,根据机器网络环境和日志服务所在Region(可选择虚拟机所在的网络分区)进行安装。例如深圳地区的ECS可以输入.\logtail_installer.exe install cn_shenzhen
  3. 安装完成后,可在windows资源管理器的服务选项中看到当前有两个logtail服务在运行
  • 至此我们机器上的logtail客户端就安装完成了,logtail启动后会自动从服务器拉取我们之前的配置文件,后面我们也可以随时更新配置文件,更新操作会在3分钟后生效。

简单体验日志服务的功能

  1. 输入测试样例
    这时候我们进入/data/log目录,创建文件xx.log并输入以下内容,保存退出


loginfo
loginfo
logerror
logerror
logwarning:
logerror:ddd
loginfo:dsfsaf
logerror:sfsafsdf
  1. 预览日志
    样例日志输入完毕后,进入浏览器的日志服务控制台,点击日志库中的预览链接(如果预览中看不到,可能是因为shard没有选择对,可以选择shard1再次点击预览)。至此说明我们最简单的日志服务已经走通了,接下来我们尝试体验下索引功能


日志预览
  • 如果发现查看不到日志,可使用logtail的快速检测工具进行问题排查

体验日志索引功能

  1. 开通日志索引
    进入浏览器的日志服务控制台,点击日志库中的查询链接,首次进入后需要开通查询服务
  2. 输入测试样例
    开通之前的日志并不会创建索引,不能直接查询,所以我们可以再次打开xx.log文件,在后面再次追加上之前的日志内容
  3. 体验索引功能
    日志索引查询中,有很多参数可以设置,这里我们只关注搜索内容以及搜索时间两个参数
  • 直接查询:在查询页面中直接点击查询便可看到我们之前输入的日志

日志索引

  • 关键字搜索:在搜索栏中输入logerror,点击查询(若查询不到,可能是日志产生的时间超过了15分钟,我们可以选择1小时)可搜索到日志内容符合logerror的日志项

日志索引

  • 关键字组合:如果我们需要搜索指定的logerror内容,例如logerror中内容为ddd的日志项,则我们输入logerror and ddd点击查询

日志索引

  • 搜索指定机器:实际环境中可能有很多机器,有时需要定位到具体某台机器时,可输入该机器的hostname或ip地址,输入的查询方法可以是logerror and ddd and __tag__:__hostname__:xxxlogerror and ddd and ***.***.***.***

日志索引

  • 注意这只是索引部分最简单的功能,这里还有很多高级功能等你挖掘

更多功能

至此我们已经体验了日志服务一些最基本的功能,然而我们实际场景中的应用数量、日志格式、集群规模较大,日志的存储、访问、索引、告警、分析方式多样,这时候才能体现出阿里云日志服务的作用,例如:

日志收集

  • 通过多个project、logstore和logtail配置,用来支持多个项目和应用
  • 在集群规模不断扩大时,收集的日志数越多来多,这时候可以使用日志分区(shard)的水平扩展功能来应对逐渐膨胀的日志需求
  • 实际生产环境中的日志不一定简单的按行来区分,而且从日志中也需要收集很多字段信息,例如时间、用户ID、操作、操作结果等。这时可使用logtail的多种日志格式支持功能
  • 如果有收集系统中syslog日志的需求,您可以通过logtail的syslog服务收集syslog日志
  • 更多收集方式:通过Tracking功能采集HTML、H5、iOS和Android平台的数据;通过log4j-appender接入log4j日志;使用producer-lib进行高性能日志收集;收集unity3d日志
  • 此外,如果以上功能并不能满足您的日志收集需求,您可通过Api自定义写入日志

日志的利用

  • 根据应用的特点,选择使用实时消费还是日志索引
  • 使用APIStormStreamComputeSpark Streaming对日志进行实时分析处理
  • 将日志投递到OSS、Table Store、MaxCompute 等存储类产品,用于存储以及后续分析利用
  • 根据日志格式以及应用需求创建索引,便于各类人员通过日志关键字索引查看系统状态(除了支持全局索引外,还支持键值对的映射,可用指定字段值(int, double类型)的范围来对日志进行精确搜索)
  • 根据应用特点从多种搜索方法中选取适用的搜索方法,快速定位问题
  • 设置日志的自动报警规则,实现无人值守

更多功能以及应用场景请参见

日志服务参考文档
日志服务典型使用场景

相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
目录
相关文章
|
6天前
|
C++ 开发者 Python
实现Python日志点击跳转到代码位置的方法
本文介绍了如何在Python日志中实现点击跳转到代码位置的功能,以提升调试效率。通过结合`logging`模块的`findCaller()`方法记录代码位置信息,并使用支持点击跳转的日志查看工具(如VS Code、PyCharm),开发者可以从日志直接点击链接定位到出错代码,加快问题排查。
15 2
|
4天前
|
监控 安全 搜索推荐
Email发送API的方法?AOKSend和阿里云哪个效果更好?
Email发送API在企业与客户沟通中扮演关键角色,允许自动化和个性化邮件发送。本文比较了AOKSend和阿里云的API:AOKSend以其高送达率、快速发送和详细分析报告脱颖而出,适合中小企业;阿里云则凭借稳定性、大规模发送能力和综合云服务吸引大企业。选择合适API能优化邮件营销效果。
|
6天前
|
弹性计算 分布式计算 Hadoop
Linux(阿里云)安装Hadoop(详细教程+避坑)
Linux(阿里云)安装Hadoop(详细教程+避坑)
27 3
|
6天前
|
存储 运维 监控
【Docker专栏】Docker日志管理与监控的最佳方法
【5月更文挑战第7天】本文探讨了Docker容器的日志管理与监控,强调其在运维中的重要性。Docker默认使用`json-file`日志驱动,可通过`docker logs`命令查看。建议选择合适日志驱动,配置日志选项,并集成ELK Stack等工具进行高级分析。实时监控、设置警报、分析数据和审计日志是实践关键。最佳实践包括日志数据与容器数据分离、使用日志代理、保护敏感信息及遵守法规。关注新技术以提升系统稳定性和安全性。
【Docker专栏】Docker日志管理与监控的最佳方法
|
6天前
|
存储 监控 Apache
查询提速11倍、资源节省70%,阿里云数据库内核版 Apache Doris 在网易日志和时序场景的实践
网易的灵犀办公和云信利用 Apache Doris 改进了大规模日志和时序数据处理,取代了 Elasticsearch 和 InfluxDB。Doris 实现了更低的服务器资源消耗和更高的查询性能,相比 Elasticsearch,查询速度提升至少 11 倍,存储资源节省达 70%。Doris 的列式存储、高压缩比和倒排索引等功能,优化了日志和时序数据的存储与分析,降低了存储成本并提高了查询效率。在灵犀办公和云信的实际应用中,Doris 显示出显著的性能优势,成功应对了数据增长带来的挑战。
查询提速11倍、资源节省70%,阿里云数据库内核版 Apache Doris 在网易日志和时序场景的实践
|
6天前
|
存储 监控 前端开发
【专栏】阿里云ARMS前端监控的引入方法,以提升应用质量和稳定性
【4月更文挑战第29天】本文介绍了阿里云ARMS前端监控的引入方法,以提升应用质量和稳定性。该工具通过实时收集和分析用户行为、性能数据,提供错误监测和实时告警。步骤包括注册阿里云账号,创建前端监控项目,获取并嵌入监控代码到页面中,部署并运行,最后查看监控数据。案例和经验分享强调了合理设置监控指标、与其他工具结合以及定期分析数据的重要性。注意保护用户隐私,正确管理监控代码,并解决可能出现的数据不准确和大量错误告警问题。
|
6天前
|
运维 数据管理 数据库
数据管理DMS产品使用合集之在阿里云DMS中,想对数据精度进行校验,有什么方法
阿里云数据管理DMS提供了全面的数据管理、数据库运维、数据安全、数据迁移与同步等功能,助力企业高效、安全地进行数据库管理和运维工作。以下是DMS产品使用合集的详细介绍。
|
6天前
|
弹性计算 前端开发 Serverless
Serverless 应用引擎操作报错合集之在阿里云函数计算中,调用了FC函数但是没有执行或者报错,并且在FC函数后台也看不到调用记录日志如何解决
Serverless 应用引擎(SAE)是阿里云提供的Serverless PaaS平台,支持Spring Cloud、Dubbo、HSF等主流微服务框架,简化应用的部署、运维和弹性伸缩。在使用SAE过程中,可能会遇到各种操作报错。以下是一些常见的报错情况及其可能的原因和解决方法。
36 5
|
6天前
|
弹性计算 运维 Kubernetes
阿里云轻量应用服务器与轻量容器服务简介与区别及收费标准参考
轻量应用服务器是深受个人和普通企业用户亲耐的一款轻量级云服务器产品,提供精品应用一键部署,支持一站式的域名、网站、安全、运维、应用管理等服务,极大优化搭建简单应用的体验,降低了入门级用户使用云计算产品的门槛。轻量容器服务是专为学生、个人开发者等用户打造的轻量级容器服务,帮助您在云上快速了解容器和Kubernetes(简称K8s)相关的基础概念和轻松进行入门实践。本文为大家介绍一下阿里云轻量应用服务器与轻量容器服务的区别以及收费标准,以供参考。
阿里云轻量应用服务器与轻量容器服务简介与区别及收费标准参考
|
6天前
|
敏捷开发 Devops 测试技术
云效产品使用常见问题之不知道每次登录是否会记录在阿里云账号的登录日志中如何解决
云效作为一款全面覆盖研发全生命周期管理的云端效能平台,致力于帮助企业实现高效协同、敏捷研发和持续交付。本合集收集整理了用户在使用云效过程中遇到的常见问题,问题涉及项目创建与管理、需求规划与迭代、代码托管与版本控制、自动化测试、持续集成与发布等方面。

相关产品

  • 日志服务