SLS 初体验:采集、加工、查询分析及可视化(一)| 学习笔记

本文涉及的产品
日志服务 SLS,月写入数据量 50GB 1个月
简介: 快速学习 SLS 初体验:采集、加工、查询分析及可视化。

开发者学堂课程【DevOps 日志分析实战 :SLS 初体验:采集、加工、查询分析及可视化(一)】学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址:https://developer.aliyun.com/learning/course/736/detail/13100


SLS 初体验:采集、加工、查询分析及可视化(一)

 

前言:

日志服务初体验是面向日志服务基础功能介绍的分享,主要包含采集、加工、查询分析及可视化几个功能。通过实操了解功能的运作,更好理解日志服务能做到什么。

 

目录:

一.日志服务是什么

二.操作示例 -Linux Syslog

 

一.日志服务是什么

日志服务(SLS)-阿里集团自研的一站式日志平台

大功能划分由四部分组成

image.png

1. 数据的实时采集

提供40+数据接入的渠道,主机上的日志可以通过 agent 采集,端上进程日志通过集成日志服务的 SDK 完成数据的采集上报。浏览器买点、用户点击的数据通过 WebCheck 方式上报。丰富的渠道的接入,可以满足各种场景下数据接入的需求。为了保证整个数据链路的可靠提供全球加速的链路保证,数据实时采集解决了数据接入存储的过程。完成数据接入后如果数据本身比较杂乱或有进一步处理需求可以用第二部分功能进行加工。

2. 数据加工

开箱即用、免运维的模块。可以通过灵活的编排,无需写代码可完成自定义数据处理需求。

3. 智能查询分析

在采集上的日志获得数据里挖掘出想要的更多信息。支持 SQL92 语法,编写非常方便。性能优化可做到秒级分析亿级。

4. 数据分发

支持更多场景比如数据需要永久保存,但日志只有180天热数据,超过180天通过此功能投递到 OSS 做低成本的保存。

分享针对前面三个功能介绍,以日志的示例介绍流程。

相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
相关文章
|
4天前
|
SQL 关系型数据库 MySQL
MySQL事务日志-Undo Log工作原理分析
事务的持久性是交由Redo Log来保证,原子性则是交由Undo Log来保证。如果事务中的SQL执行到一半出现错误,需要把前面已经执行过的SQL撤销以达到原子性的目的,这个过程也叫做"回滚",所以Undo Log也叫回滚日志。
MySQL事务日志-Undo Log工作原理分析
|
11天前
|
存储 运维 监控
Linux--深入理与解linux文件系统与日志文件分析
深入理解 Linux 文件系统和日志文件分析,对于系统管理员和运维工程师来说至关重要。文件系统管理涉及到文件的组织、存储和检索,而日志文件则记录了系统和应用的运行状态,是排查故障和维护系统的重要依据。通过掌握文件系统和日志文件的管理和分析技能,可以有效提升系统的稳定性和安全性。
29 7
|
14天前
|
监控 安全 Linux
启用Linux防火墙日志记录和分析功能
为iptables启用日志记录对于监控进出流量至关重要
|
1月前
|
监控 应用服务中间件 定位技术
要统计Nginx的客户端IP,可以通过分析Nginx的访问日志文件来实现
要统计Nginx的客户端IP,可以通过分析Nginx的访问日志文件来实现
101 3
|
3月前
|
存储 缓存 关系型数据库
MySQL事务日志-Redo Log工作原理分析
事务的隔离性和原子性分别通过锁和事务日志实现,而持久性则依赖于事务日志中的`Redo Log`。在MySQL中,`Redo Log`确保已提交事务的数据能持久保存,即使系统崩溃也能通过重做日志恢复数据。其工作原理是记录数据在内存中的更改,待事务提交时写入磁盘。此外,`Redo Log`采用简单的物理日志格式和高效的顺序IO,确保快速提交。通过不同的落盘策略,可在性能和安全性之间做出权衡。
1754 14
MySQL事务日志-Redo Log工作原理分析
|
2月前
|
存储 SQL 监控
|
2月前
|
运维 监控 安全
|
2月前
|
监控 关系型数据库 MySQL
分析慢查询日志
【10月更文挑战第29天】分析慢查询日志
53 3
|
2月前
|
监控 关系型数据库 数据库
怎样分析慢查询日志?
【10月更文挑战第29天】怎样分析慢查询日志?
72 2
|
3月前
|
存储 消息中间件 大数据
大数据-69 Kafka 高级特性 物理存储 实机查看分析 日志存储一篇详解
大数据-69 Kafka 高级特性 物理存储 实机查看分析 日志存储一篇详解
57 4