日志服务应用场景

本文涉及的产品
对象存储 OSS,20GB 3个月
日志服务 SLS,月写入数据量 50GB 1个月
文件存储 NAS,50GB 3个月
简介: 日志服务的典型应用场景包括:数据采集与消费、数据清洗与流计算 (ETL/Stream Processing)、数据仓库对接(Data Warehouse)、日志实时查询与分析。

日志服务的典型应用场景包括:数据采集与消费、数据清洗与流计算 (ETL/Stream Processing)、数据仓库对接(Data Warehouse)、日志实时查询与分析。

云起实验室日志服务体验(活动期完成有机会参与100%中奖):https://developer.aliyun.com/adc/series/activity/sls-1

数据采集与消费

通过日志服务LogHub功能,可以大规模低成本接入各种实时日志数据(包括Metric、Event、BinLog、TextLog、Click等)。

方案优势:

使用便捷:提供50+实时数据采集方式,让您快速搭建平台;强大配置管理能力,减轻运维负担。
弹性伸缩:无论是流量高峰还是业务增长都能轻松应对。
图 1. 数据采集与消费
image.png

数据清洗与流计算 (ETL/Stream Processing)

日志中枢(LogHub)支持与各种实时计算及服务对接,并提供完整的进度监控,报警等功能,并可以根据SDK/API实现自定义消费。

操作便捷:提供丰富SDK以及编程框架,与各流计算引擎无缝对接。
监控报警:提供丰富监控数据,以及延迟报警机制。
弹性伸缩:PB级弹性能力,0延迟。
图 2. 数据清洗与流计算
image.png

数据仓库对接(Data Warehouse)

日志投递(LogShipper)功能可以将日志中枢(LogHub)中数据投递至存储类服务,过程支持压缩、自定义Partition、以及行列等各种存储格式。

海量数据:对数据量不设上限。
种类丰富:支持行、列、TextFile等各种存储格式。
配置灵活:支持用户自定义Partition等配置。
图 3. 数据仓库对接
image.png

日志实时查询与分析

实时查询分析(LogAnalytics)可以实时索引LogHub中数据,提供关键词、模糊、上下文、范围、SQL聚合等丰富查询手段。

实时性强:写入后即可查询。
海量低成本:支持PB/Day索引能力,成本为自建方案15%。
分析能力强:支持多种查询手段,及SQL进行聚合分析,并提供可视化及报警功能。
图 4. 日志实时查询与分析
image.png

相关实践学习
日志服务之数据清洗与入湖
本教程介绍如何使用日志服务接入NGINX模拟数据,通过数据加工对数据进行清洗并归档至OSS中进行存储。
相关文章
|
2月前
|
存储 数据采集 弹性计算
日志服务的典型应用场景
日志服务的典型应用场景
34 3
|
18天前
|
存储 关系型数据库 MySQL
|
3天前
|
监控
查看服务器/IIS日志、log、访问信息基本方法
除了手动查看,你也可以使用日志分析工具,如Log Parser、AWStats等,这些工具可以帮助你更方便地分析日志数据。
4 1
|
11天前
|
Java 测试技术 Apache
《手把手教你》系列基础篇(八十六)-java+ selenium自动化测试-框架设计基础-Log4j实现日志输出(详解教程)
【7月更文挑战第4天】Apache Log4j 是一个广泛使用的 Java 日志框架,它允许开发者控制日志信息的输出目的地、格式和级别。Log4j 包含三个主要组件:Loggers(记录器)负责生成日志信息,Appenders(输出源)确定日志输出的位置(如控制台、文件、数据库等),而 Layouts(布局)则控制日志信息的格式。通过配置 Log4j,可以灵活地定制日志记录行为。
27 4
|
12天前
|
运维 Java Apache
Java中的日志框架:Log4j与SLF4J详解
Java中的日志框架:Log4j与SLF4J详解
|
18天前
|
SQL 运维 关系型数据库
|
18天前
|
存储 关系型数据库 MySQL
|
9天前
|
XML Java 测试技术
《手把手教你》系列基础篇(八十八)-java+ selenium自动化测试-框架设计基础-Log4j 2实现日志输出-下篇(详解教程)
【7月更文挑战第6天】本文介绍了如何使用Log4j2将日志输出到文件中,重点在于配置文件的结构和作用。配置文件包含两个主要部分:`appenders`和`loggers`。`appenders`定义了日志输出的目标,如控制台(Console)或其他文件,如RollingFile,设置输出格式和策略。`loggers`定义了日志记录器,通过`name`属性关联到特定的类或包,并通过`appender-ref`引用`appenders`来指定输出位置。`additivity`属性控制是否继承父logger的配置。
15 0
|
1月前
|
运维 Serverless API
Serverless 应用引擎产品使用合集之sls日志告警调用函数计算,出现抛出的结果异常,是什么原因
阿里云Serverless 应用引擎(SAE)提供了完整的微服务应用生命周期管理能力,包括应用部署、服务治理、开发运维、资源管理等功能,并通过扩展功能支持多环境管理、API Gateway、事件驱动等高级应用场景,帮助企业快速构建、部署、运维和扩展微服务架构,实现Serverless化的应用部署与运维模式。以下是对SAE产品使用合集的概述,包括应用管理、服务治理、开发运维、资源管理等方面。

相关产品

  • 日志服务