日志服务数据加工培训直播资料汇总: 扫平日志分析路上障碍, 实时海量日志加工实践

本文涉及的产品
对象存储 OSS,20GB 3个月
日志服务 SLS,月写入数据量 50GB 1个月
文件存储 NAS,50GB 3个月
简介: 日志服务数据加工系列培训资料汇总: 扫平日志分析路上障碍, 实时海量日志加工实践

image

分享介绍
日志服务数据加工功能提供托管的自动伸缩的实时可靠数据加工服务,本次系列培训从实战案例角度完整介绍数据加工的主要场景. 包括功能语法、数据分发、结构与非结构化数据清洗、外部资源关联、并发可靠性与排错等,解决实日志数据在接入、分析、投递、对接时存在各种数据加工需求与问题。

第一讲——数据加工介绍与实战

直播时间: 8月7日 19:30-20:30
讲解人: 丁来强 (成喆)
直播介绍: : 介绍数据加工的各种痛点, 场景以及解决方案. 介绍与演示日志服务数据加工的功能, 概念, 原理, 控制台操作, 以及SLB数据加工实战等
视频回顾: https://yq.aliyun.com/live/1339
PPT下载: https://yq.aliyun.com/attachment/download/?id=6958

第二讲——DSL核心语法介绍

直播时间: 8月8日 19:30-20:30
讲解人: 丁来强 (成喆)
直播介绍: : 介绍与演示日志服务数据加工的核心与发的框架. 深入浅出的覆盖基础语法, 数据结构, 30+全局函数概述, 200+表达式函数概述, 以及类SLS/Lucene的查询字符串语法
视频回顾: https://yq.aliyun.com/live/1340
PPT下载: https://yq.aliyun.com/attachment/download/?id=6959

第三讲——DSL语法实践

直播时间: 8月13日 19:30-20:30
讲解人: 丁来强 (成喆)
直播介绍: : 逐步深入介绍日志服务的事件字段提取模式, 正则表达式实践, 400+GROK模式概览, 灵活强大的JMES语法. 以及ETL核心场景最佳实践: 函数调用、事件判断、日期时间处理等
视频回顾: https://yq.aliyun.com/live/1341
PPT下载: https://yq.aliyun.com/attachment/download/?id=6960

第四讲——动态数据分发汇集实践

直播时间: 8月14日 19:30-20:30
讲解人: 唐恺 (风毅)
直播介绍: : 介绍与演示数据加工对于跨账号多目标logstore数据分发. 以及跨账号多源logstore数据汇总的场景
视频回顾: https://yq.aliyun.com/live/1342
PPT下载: https://yq.aliyun.com/attachment/download/?id=6961

第五讲——非结构化数据解析实践

直播时间: 8月20日 19:30-20:30
讲解人: 唐恺 (风毅)
直播介绍: : 通过多个实战案例介绍日志服务数据加工如何全面灵活的支持非结构化数据的解析.
包括: 解析标准syslog协议框架、使用正则表达式与grok解析Ngnix日志、动态键值对KV加工, 特定格式的、特定格式文本的数据加工等
视频回顾: https://yq.aliyun.com/live/1343
PPT下载: https://yq.aliyun.com/attachment/download/?id=6962

第六讲——结构化化数据解析实践

直播时间: 8月21日 19:30-20:30
讲解人: 唐恺 (风毅)
直播介绍: : 通过多个实战案例介绍日志服务数据加工如何全面灵活的支持非结构化数据的解析.
包括:复杂JSON格式加工、多子键为数组的复杂JSON、多层数组对象嵌套的复杂JSON, 解析CSV格式日志等
视频回顾: https://yq.aliyun.com/live/1344
PPT下载: https://yq.aliyun.com/attachment/download/?id=6963

第七讲——数据映射富化实践

直播时间: 8月28日 19:30-20:30
讲解人: 唐恺 (风毅)
直播介绍: : 通过多个实战案例介绍日志服务数据加工对于数据富化的支持.
介绍如何从RDS-MySQL、Logstore、OSS等外部资源自动化加载数据支持各种维表更新与数据富化场景。也覆盖特定复杂逻辑映射的实战内容。
视频回顾: https://yq.aliyun.com/live/1349
PPT下载: https://yq.aliyun.com/attachment/download/?id=6964

第八讲——可靠性性与排错实践

直播时间: 8月29日 19:30-20:30
讲解人: 丁来强 (成喆)
直播介绍: : 深入浅出介绍介绍如何构建健壮性数据加工任务.
从异常错误监控, 到异常错误排查框架流程, 通过实战覆盖数据加工各个阶段的错误排查手段, 包括: 初始化错误排查, 读取错误, 加工错误, 输出错误等
视频回顾: https://yq.aliyun.com/live/1350
PPT下载: https://yq.aliyun.com/attachment/download/?id=6965

进一步技术交流

加入日志服务云栖技术交流群:
image

阿里云开发者群:
image

相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
目录
相关文章
|
1月前
|
XML 安全 Java
【日志框架整合】Slf4j、Log4j、Log4j2、Logback配置模板
本文介绍了Java日志框架的基本概念和使用方法,重点讨论了SLF4J、Log4j、Logback和Log4j2之间的关系及其性能对比。SLF4J作为一个日志抽象层,允许开发者使用统一的日志接口,而Log4j、Logback和Log4j2则是具体的日志实现框架。Log4j2在性能上优于Logback,推荐在新项目中使用。文章还详细说明了如何在Spring Boot项目中配置Log4j2和Logback,以及如何使用Lombok简化日志记录。最后,提供了一些日志配置的最佳实践,包括滚动日志、统一日志格式和提高日志性能的方法。
212 30
【日志框架整合】Slf4j、Log4j、Log4j2、Logback配置模板
|
2月前
|
XML JSON Java
Logback 与 log4j2 性能对比:谁才是日志框架的性能王者?
【10月更文挑战第5天】在Java开发中,日志框架是不可或缺的工具,它们帮助我们记录系统运行时的信息、警告和错误,对于开发人员来说至关重要。在众多日志框架中,Logback和log4j2以其卓越的性能和丰富的功能脱颖而出,成为开发者们的首选。本文将深入探讨Logback与log4j2在性能方面的对比,通过详细的分析和实例,帮助大家理解两者之间的性能差异,以便在实际项目中做出更明智的选择。
271 3
|
27天前
|
存储 Oracle 关系型数据库
【赵渝强老师】MySQL InnoDB的数据文件与重做日志文件
本文介绍了MySQL InnoDB存储引擎中的数据文件和重做日志文件。数据文件包括`.ibd`和`ibdata`文件,用于存放InnoDB数据和索引。重做日志文件(redo log)确保数据的可靠性和事务的持久性,其大小和路径可由相关参数配置。文章还提供了视频讲解和示例代码。
131 11
【赵渝强老师】MySQL InnoDB的数据文件与重做日志文件
|
2月前
|
存储 缓存 关系型数据库
MySQL事务日志-Redo Log工作原理分析
事务的隔离性和原子性分别通过锁和事务日志实现,而持久性则依赖于事务日志中的`Redo Log`。在MySQL中,`Redo Log`确保已提交事务的数据能持久保存,即使系统崩溃也能通过重做日志恢复数据。其工作原理是记录数据在内存中的更改,待事务提交时写入磁盘。此外,`Redo Log`采用简单的物理日志格式和高效的顺序IO,确保快速提交。通过不同的落盘策略,可在性能和安全性之间做出权衡。
1673 14
|
27天前
|
SQL Oracle 关系型数据库
【赵渝强老师】Oracle的联机重做日志文件与数据写入过程
在Oracle数据库中,联机重做日志文件记录了数据库的变化,用于实例恢复。每个数据库有多组联机重做日志,每组建议至少有两个成员。通过SQL语句可查看日志文件信息。视频讲解和示意图进一步解释了这一过程。
|
2月前
|
Python
log日志学习
【10月更文挑战第9天】 python处理log打印模块log的使用和介绍
39 0
|
2月前
|
数据可视化
Tensorboard可视化学习笔记(一):如何可视化通过网页查看log日志
关于如何使用TensorBoard进行数据可视化的教程,包括TensorBoard的安装、配置环境变量、将数据写入TensorBoard、启动TensorBoard以及如何通过网页查看日志文件。
243 0
|
4月前
|
Kubernetes Ubuntu Windows
【Azure K8S | AKS】分享从AKS集群的Node中查看日志的方法(/var/log)
【Azure K8S | AKS】分享从AKS集群的Node中查看日志的方法(/var/log)
136 3
|
2月前
|
存储 分布式计算 NoSQL
大数据-136 - ClickHouse 集群 表引擎详解1 - 日志、Log、Memory、Merge
大数据-136 - ClickHouse 集群 表引擎详解1 - 日志、Log、Memory、Merge
50 0
|
2月前
|
缓存 Linux 编译器
【C++】CentOS环境搭建-安装log4cplus日志组件包及报错解决方案
通过上述步骤,您应该能够在CentOS环境中成功安装并使用log4cplus日志组件。面对任何安装或使用过程中出现的问题,仔细检查错误信息,对照提供的解决方案进行调整,通常都能找到合适的解决之道。log4cplus的强大功能将为您的项目提供灵活、高效的日志管理方案,助力软件开发与维护。
64 0

相关产品

  • 日志服务