日志服务数据加工培训直播资料汇总: 扫平日志分析路上障碍, 实时海量日志加工实践

本文涉及的产品
对象存储 OSS,OSS 加速器 50 GB 1个月
简介: 日志服务数据加工系列培训资料汇总: 扫平日志分析路上障碍, 实时海量日志加工实践

image

分享介绍
日志服务数据加工功能提供托管的自动伸缩的实时可靠数据加工服务,本次系列培训从实战案例角度完整介绍数据加工的主要场景. 包括功能语法、数据分发、结构与非结构化数据清洗、外部资源关联、并发可靠性与排错等,解决实日志数据在接入、分析、投递、对接时存在各种数据加工需求与问题。

第一讲——数据加工介绍与实战

直播时间: 8月7日 19:30-20:30
讲解人: 丁来强 (成喆)
直播介绍: : 介绍数据加工的各种痛点, 场景以及解决方案. 介绍与演示日志服务数据加工的功能, 概念, 原理, 控制台操作, 以及SLB数据加工实战等
视频回顾: https://yq.aliyun.com/live/1339
PPT下载: https://yq.aliyun.com/attachment/download/?id=6958

第二讲——DSL核心语法介绍

直播时间: 8月8日 19:30-20:30
讲解人: 丁来强 (成喆)
直播介绍: : 介绍与演示日志服务数据加工的核心与发的框架. 深入浅出的覆盖基础语法, 数据结构, 30+全局函数概述, 200+表达式函数概述, 以及类SLS/Lucene的查询字符串语法
视频回顾: https://yq.aliyun.com/live/1340
PPT下载: https://yq.aliyun.com/attachment/download/?id=6959

第三讲——DSL语法实践

直播时间: 8月13日 19:30-20:30
讲解人: 丁来强 (成喆)
直播介绍: : 逐步深入介绍日志服务的事件字段提取模式, 正则表达式实践, 400+GROK模式概览, 灵活强大的JMES语法. 以及ETL核心场景最佳实践: 函数调用、事件判断、日期时间处理等
视频回顾: https://yq.aliyun.com/live/1341
PPT下载: https://yq.aliyun.com/attachment/download/?id=6960

第四讲——动态数据分发汇集实践

直播时间: 8月14日 19:30-20:30
讲解人: 唐恺 (风毅)
直播介绍: : 介绍与演示数据加工对于跨账号多目标logstore数据分发. 以及跨账号多源logstore数据汇总的场景
视频回顾: https://yq.aliyun.com/live/1342
PPT下载: https://yq.aliyun.com/attachment/download/?id=6961

第五讲——非结构化数据解析实践

直播时间: 8月20日 19:30-20:30
讲解人: 唐恺 (风毅)
直播介绍: : 通过多个实战案例介绍日志服务数据加工如何全面灵活的支持非结构化数据的解析.
包括: 解析标准syslog协议框架、使用正则表达式与grok解析Ngnix日志、动态键值对KV加工, 特定格式的、特定格式文本的数据加工等
视频回顾: https://yq.aliyun.com/live/1343
PPT下载: https://yq.aliyun.com/attachment/download/?id=6962

第六讲——结构化化数据解析实践

直播时间: 8月21日 19:30-20:30
讲解人: 唐恺 (风毅)
直播介绍: : 通过多个实战案例介绍日志服务数据加工如何全面灵活的支持非结构化数据的解析.
包括:复杂JSON格式加工、多子键为数组的复杂JSON、多层数组对象嵌套的复杂JSON, 解析CSV格式日志等
视频回顾: https://yq.aliyun.com/live/1344
PPT下载: https://yq.aliyun.com/attachment/download/?id=6963

第七讲——数据映射富化实践

直播时间: 8月28日 19:30-20:30
讲解人: 唐恺 (风毅)
直播介绍: : 通过多个实战案例介绍日志服务数据加工对于数据富化的支持.
介绍如何从RDS-MySQL、Logstore、OSS等外部资源自动化加载数据支持各种维表更新与数据富化场景。也覆盖特定复杂逻辑映射的实战内容。
视频回顾: https://yq.aliyun.com/live/1349
PPT下载: https://yq.aliyun.com/attachment/download/?id=6964

第八讲——可靠性性与排错实践

直播时间: 8月29日 19:30-20:30
讲解人: 丁来强 (成喆)
直播介绍: : 深入浅出介绍介绍如何构建健壮性数据加工任务.
从异常错误监控, 到异常错误排查框架流程, 通过实战覆盖数据加工各个阶段的错误排查手段, 包括: 初始化错误排查, 读取错误, 加工错误, 输出错误等
视频回顾: https://yq.aliyun.com/live/1350
PPT下载: https://yq.aliyun.com/attachment/download/?id=6965

进一步技术交流

加入日志服务云栖技术交流群:
image

阿里云开发者群:
image

相关实践学习
【涂鸦即艺术】基于云应用开发平台CAP部署AI实时生图绘板
【涂鸦即艺术】基于云应用开发平台CAP部署AI实时生图绘板
目录
相关文章
|
8月前
|
SQL 人工智能 监控
SLS Copilot 实践:基于 SLS 灵活构建 LLM 应用的数据基础设施
本文将分享我们在构建 SLS SQL Copilot 过程中的工程实践,展示如何基于阿里云 SLS 打造一套完整的 LLM 应用数据基础设施。
2297 98
|
存储 运维 开发工具
警惕日志采集失败的 6 大经典雷区:从本地管理反模式到 LoongCollector 标准实践
本文探讨了日志管理中的常见反模式及其潜在问题,强调科学的日志管理策略对系统可观测性的重要性。文中分析了6种反模式:copy truncate轮转导致的日志丢失或重复、NAS/OSS存储引发的采集不一致、多进程写入造成的日志混乱、创建文件空洞释放空间的风险、频繁覆盖写带来的数据完整性问题,以及使用vim编辑日志文件导致的重复采集。针对这些问题,文章提供了最佳实践建议,如使用create模式轮转日志、本地磁盘存储、单线程追加写入等方法,以降低日志采集风险,提升系统可靠性。最后总结指出,遵循这些实践可显著提高故障排查效率和系统性能。
1856 22
|
存储 监控 安全
网络安全视角:从地域到账号的阿里云日志审计实践
日志审计的必要性在于其能够帮助企业和组织落实法律要求,打破信息孤岛和应对安全威胁。选择 SLS 下日志审计应用,一方面是选择国家网络安全专用认证的日志分析产品,另一方面可以快速帮助大型公司统一管理多组地域、多个账号的日志数据。除了在日志服务中存储、查看和分析日志外,还可通过报表分析和告警配置,主动发现潜在的安全威胁,增强云上资产安全。
1023 43
|
存储 运维 监控
金融场景 PB 级大规模日志平台:中信银行信用卡中心从 Elasticsearch 到 Apache Doris 的先进实践
中信银行信用卡中心每日新增日志数据 140 亿条(80TB),全量归档日志量超 40PB,早期基于 Elasticsearch 构建的日志云平台,面临存储成本高、实时写入性能差、文本检索慢以及日志分析能力不足等问题。因此使用 Apache Doris 替换 Elasticsearch,实现资源投入降低 50%、查询速度提升 2~4 倍,同时显著提高了运维效率。
1078 3
金融场景 PB 级大规模日志平台:中信银行信用卡中心从 Elasticsearch 到 Apache Doris 的先进实践
|
SQL 存储 自然语言处理
让跨 project 联查更轻松,SLS StoreView 查询和分析实践
让跨 project 联查更轻松,SLS StoreView 查询和分析实践
280 1
|
存储 监控 安全
网络安全视角:从地域到账号的阿里云日志审计实践
网络安全视角:从地域到账号的阿里云日志审计实践
361 0
日志服务数据加工最佳实践: 多子键为数组的复杂JSON加工
程序构建的日志经常会以一种统计性质的JSON格式写入, 通常其包含一个基础信息, 以及多个子健为数组的形式. 本篇如何使用日志服务数据加工处理多子键为数组的复杂JSON.
1267 0
|
监控 安全 Apache
什么是Apache日志?为什么Apache日志分析很重要?
Apache是全球广泛使用的Web服务器软件,支持超过30%的活跃网站。它通过接收和处理HTTP请求,与后端服务器通信,返回响应并记录日志,确保网页请求的快速准确处理。Apache日志分为访问日志和错误日志,对提升用户体验、保障安全及优化性能至关重要。EventLog Analyzer等工具可有效管理和分析这些日志,增强Web服务的安全性和可靠性。
564 9

相关产品

  • 日志服务