日志服务主要功能

简介: 本文介绍日志服务主要的功能。

数据采集
日志服务提供50多种数据接入方案。具体说明如下:

支持采集服务器与应用相关的日志、时序数据和链路数据。

支持采集物联网设备日志。

支持采集阿里云产品日志。

支持采集移动端数据。

支持采集Logstash、Flume、Beats、FluentD、Telegraf等开源软件中的数据。

支持通过HTTP、HTTPS、Syslog、Kafka、Prometheus等标准协议接入数据。

查询与分析
日志服务支持实时查询与分析数据。具体说明如下:

支持精确查询、模糊查询、全文查询、字段查询。

支持上下文查询、日志聚类、LiveTail、重建索引等功能。

支持标准的SQL 92语法。

提供SQL独享实例。

数据加工
日志服务提供数据加工功能,用于数据的规整、富化、流转、脱敏和过滤。具体说明如下:

数据规整:针对混乱格式的日志进行字段提取、格式转换,获取结构化数据以支持后续的流处理、数据仓库计算。

数据富化:对日志(例如订单日志)和维表(例如用户信息表)进行字段连接(JOIN),为日志添加更多维度的信息,用于数据分析。

数据流转:通过全球加速功能将海外地域的日志传输到中心地域,实现全球日志集中化管理。

数据脱敏:对数据中包含的密码、手机号、地址等敏感信息进行脱敏。

数据过滤:过滤出关键服务的日志,用于重点分析。

消费与投递
日志服务提供消费与投递功能,支持通过SDK、API实时消费数据;支持通过控制台将数据实时投递至OSS、MaxCompute等阿里云产品中。具体说明如下:

支持通过Splunk、QRadar、Logstash、Flume等第三方软件消费数据。

支持通过Java、Python、GO等语言消费数据。

支持通过函数计算、实时计算、云监控等阿里云产品消费数据。

支持通过Flink、Spark、Storm等流式计算平台消费数据。

支持将数据投递到OSS、MaxCompute、AnalyticDB、TableStore等阿里云产品。

相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
目录
相关文章
|
1月前
|
存储 Go
Go 浅析主流日志库:从设计层学习如何集成日志轮转与切割功能
本文将探讨几个热门的 go 日志库如 logrus、zap 和官网的 slog,我将分析这些库的的关键设计元素,探讨它们是如何支持日志轮转与切割功能的配置。
172 0
Go 浅析主流日志库:从设计层学习如何集成日志轮转与切割功能
|
8月前
|
C++
C++-实现日志log功能
C++-实现日志log功能
|
1月前
|
数据采集 分布式计算 监控
日志服务功能特性
日志服务功能特性
34 7
|
5天前
|
缓存 监控 安全
在 Spring Boot 中使用 AOP(Aspect-Oriented Programming)实现日志记录功能
在 Spring Boot 中使用 AOP(Aspect-Oriented Programming)实现日志记录功能
17 1
|
21天前
|
存储 缓存 安全
【实战指南】轻松自研嵌入式日志框架,6大功能亮点一文读懂
本文介绍了如何自研一个嵌入式日志框架,涵盖了6大功能亮点:日志分级管理、异步处理与并发安全性、详尽上下文信息记录、滚动日志归档策略、高效资源利用和便捷API接口。设计上,通过日志过滤器、共享环形缓冲区和独立的日志管理进程实现日志管理。在并发环境下,使用信号量保证线程安全。日志文件按大小滚动并有序归档,同时考虑了资源效率。对外提供简洁的API接口,便于开发人员使用。文章还简述了实现细节,包括实时存储、日志滚动和共享内存管理。测试部分验证了日志回滚和实时打印功能的正确性。
|
25天前
|
缓存 应用服务中间件 网络安全
nginx 日志,压缩,https功能介绍
nginx 日志,压缩,https功能介绍
|
1月前
|
缓存 Java 测试技术
Java多线程实战-实现多线程文件下载,支持断点续传、日志记录等功能
Java多线程实战-实现多线程文件下载,支持断点续传、日志记录等功能
|
8月前
|
存储 运维 监控
如何在 Spring Boot 中设计和实现业务操作日志功能?
如何在 Spring Boot 中设计和实现业务操作日志功能?
1264 4
|
11月前
|
SQL XML 前端开发
Spring Boot + vue-element 开发个人博客项目实战教程(十八、操作日志功能实现)2
Spring Boot + vue-element 开发个人博客项目实战教程(十八、操作日志功能实现)2
106 0
Spring Boot + vue-element 开发个人博客项目实战教程(十八、操作日志功能实现)2
|
1月前
|
数据可视化 API 开发工具
Baumer工业相机堡盟工业相机如何通过NEOAPI SDK使用相机日志跟踪功能(C++)
Baumer工业相机堡盟工业相机如何通过NEOAPI SDK使用相机日志跟踪功能(C++)
45 0