日志服务数据加工培训直播资料汇总: 扫平日志分析路上障碍, 实时海量日志加工实践

简介: 日志服务数据加工系列培训资料汇总: 扫平日志分析路上障碍, 实时海量日志加工实践

image

分享介绍
日志服务数据加工功能提供托管的自动伸缩的实时可靠数据加工服务,本次系列培训从实战案例角度完整介绍数据加工的主要场景. 包括功能语法、数据分发、结构与非结构化数据清洗、外部资源关联、并发可靠性与排错等,解决实日志数据在接入、分析、投递、对接时存在各种数据加工需求与问题。

第一讲——数据加工介绍与实战

直播时间: 8月7日 19:30-20:30
讲解人: 丁来强 (成喆)
直播介绍: : 介绍数据加工的各种痛点, 场景以及解决方案. 介绍与演示日志服务数据加工的功能, 概念, 原理, 控制台操作, 以及SLB数据加工实战等
视频回顾: https://yq.aliyun.com/live/1339
PPT下载: https://yq.aliyun.com/attachment/download/?id=6958

第二讲——DSL核心语法介绍

直播时间: 8月8日 19:30-20:30
讲解人: 丁来强 (成喆)
直播介绍: : 介绍与演示日志服务数据加工的核心与发的框架. 深入浅出的覆盖基础语法, 数据结构, 30+全局函数概述, 200+表达式函数概述, 以及类SLS/Lucene的查询字符串语法
视频回顾: https://yq.aliyun.com/live/1340
PPT下载: https://yq.aliyun.com/attachment/download/?id=6959

第三讲——DSL语法实践

直播时间: 8月13日 19:30-20:30
讲解人: 丁来强 (成喆)
直播介绍: : 逐步深入介绍日志服务的事件字段提取模式, 正则表达式实践, 400+GROK模式概览, 灵活强大的JMES语法. 以及ETL核心场景最佳实践: 函数调用、事件判断、日期时间处理等
视频回顾: https://yq.aliyun.com/live/1341
PPT下载: https://yq.aliyun.com/attachment/download/?id=6960

第四讲——动态数据分发汇集实践

直播时间: 8月14日 19:30-20:30
讲解人: 唐恺 (风毅)
直播介绍: : 介绍与演示数据加工对于跨账号多目标logstore数据分发. 以及跨账号多源logstore数据汇总的场景
视频回顾: https://yq.aliyun.com/live/1342
PPT下载: https://yq.aliyun.com/attachment/download/?id=6961

第五讲——非结构化数据解析实践

直播时间: 8月20日 19:30-20:30
讲解人: 唐恺 (风毅)
直播介绍: : 通过多个实战案例介绍日志服务数据加工如何全面灵活的支持非结构化数据的解析.
包括: 解析标准syslog协议框架、使用正则表达式与grok解析Ngnix日志、动态键值对KV加工, 特定格式的、特定格式文本的数据加工等
视频回顾: https://yq.aliyun.com/live/1343
PPT下载: https://yq.aliyun.com/attachment/download/?id=6962

第六讲——结构化化数据解析实践

直播时间: 8月21日 19:30-20:30
讲解人: 唐恺 (风毅)
直播介绍: : 通过多个实战案例介绍日志服务数据加工如何全面灵活的支持非结构化数据的解析.
包括:复杂JSON格式加工、多子键为数组的复杂JSON、多层数组对象嵌套的复杂JSON, 解析CSV格式日志等
视频回顾: https://yq.aliyun.com/live/1344
PPT下载: https://yq.aliyun.com/attachment/download/?id=6963

第七讲——数据映射富化实践

直播时间: 8月28日 19:30-20:30
讲解人: 唐恺 (风毅)
直播介绍: : 通过多个实战案例介绍日志服务数据加工对于数据富化的支持.
介绍如何从RDS-MySQL、Logstore、OSS等外部资源自动化加载数据支持各种维表更新与数据富化场景。也覆盖特定复杂逻辑映射的实战内容。
视频回顾: https://yq.aliyun.com/live/1349
PPT下载: https://yq.aliyun.com/attachment/download/?id=6964

第八讲——可靠性性与排错实践

直播时间: 8月29日 19:30-20:30
讲解人: 丁来强 (成喆)
直播介绍: : 深入浅出介绍介绍如何构建健壮性数据加工任务.
从异常错误监控, 到异常错误排查框架流程, 通过实战覆盖数据加工各个阶段的错误排查手段, 包括: 初始化错误排查, 读取错误, 加工错误, 输出错误等
视频回顾: https://yq.aliyun.com/live/1350
PPT下载: https://yq.aliyun.com/attachment/download/?id=6965

进一步技术交流

加入日志服务云栖技术交流群:
image

阿里云开发者群:
image

相关实践学习
【涂鸦即艺术】基于云应用开发平台CAP部署AI实时生图绘板
【涂鸦即艺术】基于云应用开发平台CAP部署AI实时生图绘板
目录
相关文章
|
SQL 人工智能 监控
SLS Copilot 实践:基于 SLS 灵活构建 LLM 应用的数据基础设施
本文将分享我们在构建 SLS SQL Copilot 过程中的工程实践,展示如何基于阿里云 SLS 打造一套完整的 LLM 应用数据基础设施。
3671 126
|
数据采集 运维 监控
不重启、不重写、不停机:SLS 软删除如何实现真正的“无感数据急救”?
SLS 全新推出的「软删除」功能,以接近索引查询的性能,解决了数据应急删除与脏数据治理的痛点。2 分钟掌握这一数据管理神器。
977 69
|
存储 缓存 Apache
StarRocks+Paimon 落地阿里日志采集:万亿级实时数据秒级查询
本文介绍了阿里集团A+流量分析平台的日志查询优化方案,针对万亿级日志数据的写入与查询挑战,提出基于Flink、Paimon和StarRocks的技术架构。通过Paimon存储日志数据,结合StarRocks高效计算能力,实现秒级查询性能。具体包括分桶表设计、数据缓存优化及文件大小控制等措施,解决高并发、大数据量下的查询效率问题。最终,日志查询耗时从分钟级降至秒级,显著提升业务响应速度,并为未来更低存储成本、更高性能及更多业务场景覆盖奠定基础。
|
SQL 监控 数据挖掘
SLS 重磅升级:超大规模数据实现完全精确分析
SLS 全新推出的「SQL 完全精确」模式,通过“限”与“换”的策略切换,在快速分析与精确计算之间实现平衡,满足用户对于超大数据规模分析结果精确的刚性需求。标志着其在超大规模日志数据分析领域再次迈出了重要的一步。
1325 118
|
存储 缓存 Apache
StarRocks+Paimon 落地阿里日志采集:万亿级实时数据秒级查询
A+流量分析平台是阿里集团统一的全域流量数据分析平台,致力于通过埋点、采集、计算构建流量数据闭环,助力业务提升流量转化。面对万亿级日志数据带来的写入与查询挑战,平台采用Flink+Paimon+StarRocks技术方案,实现高吞吐写入与秒级查询,优化存储成本与扩展性,提升日志分析效率。
1747 1
|
监控 容灾 算法
阿里云 SLS 多云日志接入最佳实践:链路、成本与高可用性优化
本文探讨了如何高效、经济且可靠地将海外应用与基础设施日志统一采集至阿里云日志服务(SLS),解决全球化业务扩展中的关键挑战。重点介绍了高性能日志采集Agent(iLogtail/LoongCollector)在海外场景的应用,推荐使用LoongCollector以获得更优的稳定性和网络容错能力。同时分析了多种网络接入方案,包括公网直连、全球加速优化、阿里云内网及专线/CEN/VPN接入等,并提供了成本优化策略和多目标发送配置指导,帮助企业构建稳定、低成本、高可用的全球日志系统。
1662 55
|
存储 NoSQL MongoDB
Docker中安装MongoDB并配置数据、日志、配置文件持久化。
现在,你有了一个运行在Docker中的MongoDB,它拥有自己的小空间,对高楼大厦的崩塌视而不见(会话丢失和数据不持久化的问题)。这个MongoDB的数据、日志、配置文件都会妥妥地保存在你为它精心准备的地方,天旋地转,它也不会失去一丁点儿宝贵的记忆(即使在容器重启后)。
2065 4
|
存储 关系型数据库 数据库
【赵渝强老师】PostgreSQL数据库的WAL日志与数据写入的过程
PostgreSQL中的WAL(预写日志)是保证数据完整性的关键技术。在数据修改前,系统会先将日志写入WAL,确保宕机时可通过日志恢复数据。它减少了磁盘I/O,提升了性能,并支持手动切换日志文件。WAL文件默认存储在pg_wal目录下,采用16进制命名规则。此外,PostgreSQL提供pg_waldump工具解析日志内容。
1236 0

相关产品

  • 日志服务