SLS投递到OSS不仅仅是归档!借助DLA元信息发现功能一键激活日志数据的分析价值

简介: 为了降低存储成本,不少客户会选择SLS数据搭配OSS进行冷热分离,把全量数据投递到OSS,近实时数据查询使用SLS。但是这些投递到OSS的数据难以分析,目前基于DLA的元信息发现功能一键激活日志数据的分析价值,然后搭配DLA的Serverless Presto和Spark进行数据处理和分析。

本文介绍如何通过向导创建SLS的OSS投递数据源发现任务,自动发现您当前区域下所有的Logstore投递到OSS的日志数据(包括新增的投递到OSS的日志数据,以及增量的分区及数据),并自动创建DLA库表映射到投递的OSS日志数据上。

前提条件

当前区域下的SLS已经将日志服务数据投递到OSS。具体操作请参考将日志服务数据投递到OSS

业务场景

企业会把服务日志、行为日志等数据存储在日志服务SLS中,当数据量较大时,可以通过投递的方式把全量数据归档到OSS。以前这些数据不可可分析计算,使用DLA的元信息发现功能,能够一键构建数据湖的元数据,接入DLA的统一数据分析平台。使用DLA的Serverless Spark及Presto引擎能够计算和分析DLA元数据管理的全域数据,可以支持ETL后数据交付、低频全量日志数据分析、日志数据关联DB数据分析等业务场景。
image.png

操作步骤

  1. 登录Data Lake Analytics管理控制台。在左侧导航栏,单击数据湖管理 > 元信息发现->SLS的OSS投递数据源。
    image.png
  2. 在SLS的OSS投递数据源页签,根据页面提示进行参数配置。
    image.png
  3. SLS的OSS投递数据源发现任务创建成功后,单击立即发现开始运行自动发现SLS的OSS投递数据源任务。
    image.png
  4. SLS的OSS投递数据源发现任务执行成功后,单击schema名称/前缀列下面的数据库名称链接(如单击muyuantestonline),跳转到Serverless SQL > SQL执行页面。您可以看到DLA自动发现创建成功的库、表、列信息。
    image.png
  5. 在Serverless SQL > SQL执行页面编写SQL语句,单击同步执行或者异步执行,执行SQL语句。
    例如在muyuantestonlinedla_crawler_hangzhou下执行 select * from `muyuantestonlinedla_crawler_hangzhou.sls_crawler_test__csv_full_types` limit 20;
    image.png

更多信息参考,帮助文档

用户福利

新用户1元购DLA 10TB按量扫描套餐,点击购买套餐

现在活动期间,用户1元首购原价315元的DLA 1000CU时资源包,点击购买套餐

使用DLA SQL优势

DLA SQL(兼容Presto)的目标是提供比开源自建更高的性价比、开箱即用的体验、方便的数据摄入、MySQL生态带来的简单易用、内置各种优化的数据湖分析计算服务。用户可以结合场景,选用Serverless或者CU版来降低成本或者提高运行性能。一句话就是使用兼容标准SQL方式低成本分析Tablestore等各种数据源。

欢迎大家关注我们的钉钉群获取最新的信息:
image.png

相关实践学习
【文生图】一键部署Stable Diffusion基于函数计算
本实验教你如何在函数计算FC上从零开始部署Stable Diffusion来进行AI绘画创作,开启AIGC盲盒。函数计算提供一定的免费额度供用户使用。本实验答疑钉钉群:29290019867
建立 Serverless 思维
本课程包括: Serverless 应用引擎的概念, 为开发者带来的实际价值, 以及让您了解常见的 Serverless 架构模式
相关文章
|
3天前
|
监控 安全 Linux
启用Linux防火墙日志记录和分析功能
为iptables启用日志记录对于监控进出流量至关重要
|
1月前
|
存储 Oracle 关系型数据库
【赵渝强老师】MySQL InnoDB的数据文件与重做日志文件
本文介绍了MySQL InnoDB存储引擎中的数据文件和重做日志文件。数据文件包括`.ibd`和`ibdata`文件,用于存放InnoDB数据和索引。重做日志文件(redo log)确保数据的可靠性和事务的持久性,其大小和路径可由相关参数配置。文章还提供了视频讲解和示例代码。
151 11
【赵渝强老师】MySQL InnoDB的数据文件与重做日志文件
|
24天前
|
监控 应用服务中间件 定位技术
要统计Nginx的客户端IP,可以通过分析Nginx的访问日志文件来实现
要统计Nginx的客户端IP,可以通过分析Nginx的访问日志文件来实现
|
1月前
|
存储 SQL 监控
|
1月前
|
SQL Oracle 关系型数据库
【赵渝强老师】Oracle的联机重做日志文件与数据写入过程
在Oracle数据库中,联机重做日志文件记录了数据库的变化,用于实例恢复。每个数据库有多组联机重做日志,每组建议至少有两个成员。通过SQL语句可查看日志文件信息。视频讲解和示意图进一步解释了这一过程。
|
1月前
|
XML 安全 Java
【日志框架整合】Slf4j、Log4j、Log4j2、Logback配置模板
本文介绍了Java日志框架的基本概念和使用方法,重点讨论了SLF4J、Log4j、Logback和Log4j2之间的关系及其性能对比。SLF4J作为一个日志抽象层,允许开发者使用统一的日志接口,而Log4j、Logback和Log4j2则是具体的日志实现框架。Log4j2在性能上优于Logback,推荐在新项目中使用。文章还详细说明了如何在Spring Boot项目中配置Log4j2和Logback,以及如何使用Lombok简化日志记录。最后,提供了一些日志配置的最佳实践,包括滚动日志、统一日志格式和提高日志性能的方法。
357 30
【日志框架整合】Slf4j、Log4j、Log4j2、Logback配置模板
|
15天前
|
监控 安全 Apache
什么是Apache日志?为什么Apache日志分析很重要?
Apache是全球广泛使用的Web服务器软件,支持超过30%的活跃网站。它通过接收和处理HTTP请求,与后端服务器通信,返回响应并记录日志,确保网页请求的快速准确处理。Apache日志分为访问日志和错误日志,对提升用户体验、保障安全及优化性能至关重要。EventLog Analyzer等工具可有效管理和分析这些日志,增强Web服务的安全性和可靠性。
|
2月前
|
XML JSON Java
Logback 与 log4j2 性能对比:谁才是日志框架的性能王者?
【10月更文挑战第5天】在Java开发中,日志框架是不可或缺的工具,它们帮助我们记录系统运行时的信息、警告和错误,对于开发人员来说至关重要。在众多日志框架中,Logback和log4j2以其卓越的性能和丰富的功能脱颖而出,成为开发者们的首选。本文将深入探讨Logback与log4j2在性能方面的对比,通过详细的分析和实例,帮助大家理解两者之间的性能差异,以便在实际项目中做出更明智的选择。
334 3
|
25天前
|
存储 监控 安全
什么是事件日志管理系统?事件日志管理系统有哪些用处?
事件日志管理系统是IT安全的重要工具,用于集中收集、分析和解释来自组织IT基础设施各组件的事件日志,如防火墙、路由器、交换机等,帮助提升网络安全、实现主动威胁检测和促进合规性。系统支持多种日志类型,包括Windows事件日志、Syslog日志和应用程序日志,通过实时监测、告警及可视化分析,为企业提供强大的安全保障。然而,实施过程中也面临数据量大、日志管理和分析复杂等挑战。EventLog Analyzer作为一款高效工具,不仅提供实时监测与告警、可视化分析和报告功能,还支持多种合规性报告,帮助企业克服挑战,提升网络安全水平。
|
2月前
|
存储 缓存 关系型数据库
MySQL事务日志-Redo Log工作原理分析
事务的隔离性和原子性分别通过锁和事务日志实现,而持久性则依赖于事务日志中的`Redo Log`。在MySQL中,`Redo Log`确保已提交事务的数据能持久保存,即使系统崩溃也能通过重做日志恢复数据。其工作原理是记录数据在内存中的更改,待事务提交时写入磁盘。此外,`Redo Log`采用简单的物理日志格式和高效的顺序IO,确保快速提交。通过不同的落盘策略,可在性能和安全性之间做出权衡。
1712 14