扫平日志分析路上障碍, 实时海量日志加工实践直播培训

本文涉及的产品
对象存储 OSS,20GB 3个月
对象存储 OSS,恶意文件检测 1000次 1年
对象存储 OSS,内容安全 1000次 1年
简介: 日志服务数据加工功能提供托管的自动伸缩的实时可靠数据加工服务,本次系列培训从实战案例角度完整介绍数据加工的主要场景. 包括功能语法、数据分发、结构与非结构化数据清洗、外部资源关联、并发可靠性与排错等,解决实日志数据在接入、分析、投递、对接时存在各种数据加工需求与问题。

image

直播讲师:

丁来强(成喆)- 阿里高级技术专家
从事阿里云日志服务相关的产品与研发工作,擅长AIOps/SecOps的大数据分析平台构建与场景落地,乐于分享, PyCon历届讲师/云栖直播讲师,曾经在中国PyCon2015、2016与2018以及云栖分享过10+不同议题,覆盖Jupyter扩展、大数据分析可视化、工作流调度、函数式、设计模式、Python核心语言等方面,广受好评。

唐恺(风毅) - 阿里技术专家
从事阿里云日志服务相关的产品与研发工作,日志采集、ETL、数据集成、相关领域专家, 在构建高可靠、高性能服务方面有相当的经验。

分享介绍
日志服务数据加工功能提供托管的自动伸缩的实时可靠数据加工服务,本次系列培训从实战案例角度完整介绍数据加工的主要场景. 包括功能语法、数据分发、结构与非结构化数据清洗、外部资源关联、并发可靠性与排错等,解决实日志数据在接入、分析、投递、对接时存在各种数据加工需求与问题。

一览

# 主题 内容介绍 讲解人 排期 资料
1 数据加工介绍与实战 介绍数据加工的各种痛点, 场景以及解决方案.
介绍与演示日志服务数据加工的功能, 概念, 原理, 控制台操作, 以及SLB数据加工实战等
成喆 8月7日 19:30-20:30 直播

资料下载(待发布)
2 数据加工DSL核心语法介绍 介绍与演示日志服务数据加工的核心与发的框架.
深入浅出的覆盖基础语法, 数据结构, 30+全局函数概述, 200+表达式函数概述, 以及类SLS/Lucene的查询字符串语法
成喆 8月8日 19:30-20:30 直播

资料下载(待发布)
3 数据加工DSL语法实践 逐步深入介绍日志服务的事件字段提取模式, 正则表达式实践, 400+GROK模式概览, 灵活强大的JMES语法.
以及ETL核心场景最佳实践: 函数调用、事件判断、日期时间处理等
成喆 8月13日 19:30-20:30 直播

资料下载(待发布)
4 数据加工动态数据分发汇集实践 介绍与演示数据加工对于跨账号多目标logstore数据分发.
以及跨账号多源logstore数据汇总的场景
唐恺 8月14日 19:30-20:30 直播

资料下载(待发布)
5 非结构化数据解析实践 通过多个实战案例介绍日志服务数据加工如何全面灵活的支持非结构化数据的解析.
包括: 解析标准syslog协议框架、使用正则表达式与grok解析Ngnix日志、动态键值对KV加工, 特定格式的、特定格式文本的数据加工等
唐恺 8月20日 19:30-20:30 直播

资料下载(待发布)
6 结构化化数据解析实践 通过多个实战案例介绍日志服务数据加工如何全面灵活的支持非结构化数据的解析.
包括:复杂JSON格式加工、多子键为数组的复杂JSON、多层数组对象嵌套的复杂JSON, 解析CSV格式日志等
唐恺 8月21日 19:30-20:30 直播

资料下载(待发布)
7 数据映射富化实践 通过多个实战案例介绍日志服务数据加工对于数据富化的支持.
介绍如何从RDS-MySQL、Logstore、OSS等外部资源自动化加载数据支持各种维表更新与数据富化场景。也覆盖特定复杂逻辑映射的实战内容。
唐恺 8月28日 19:30-20:30 直播

资料下载(待发布)
8 数据加工可靠性性与排错实践 深入浅出介绍介绍如何构建健壮性数据加工任务.
从异常错误监控, 到异常错误排查框架流程, 通过实战覆盖数据加工各个阶段的错误排查手段, 包括: 初始化错误排查, 读取错误, 加工错误, 输出错误等
成喆 8月29日 19:30-20:30 直播

资料下载(待发布)

扫码观察直播:
日志服务开发者技术交流群
image

阿里云开发者群:
image

相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
目录
相关文章
|
23天前
|
安全 Linux 网络安全
/var/log/secure日志详解
Linux系统的 `/var/log/secure` 文件记录安全相关消息,包括身份验证和授权尝试。它涵盖用户登录(成功或失败)、`sudo` 使用、账户锁定解锁及其他安全事件和PAM错误。例如,SSH登录成功会显示"Accepted password",失败则显示"Failed password"。查看此文件可使用 `tail -f /var/log/secure`,但通常只有root用户有权访问。
69 4
|
25天前
|
运维 监控 数据可视化
日志服务 HarmonyOS NEXT 日志采集最佳实践
鸿蒙操作系统(HarmonyOS)上的日志服务(SLS)SDK 提供了针对 IoT、移动端到服务端的全场景日志采集、处理和分析能力,旨在满足万物互联时代下应用的多元化设备接入、高效协同和安全可靠运行的需求。
116756 10
|
25天前
|
监控 Linux 网络安全
/var/log/auth.log日志说明
`/var/log/auth.log`是Linux系统记录身份验证和授权事件的日志文件,包括登录尝试、SSH连接、sudo操作等。系统管理员可通过它监控用户登录、检查失败尝试、跟踪SSH活动、查看sudo/su操作及PAM活动。日志内容可能因系统配置而异,可能存在于其他日志文件中。分析这些日志可使用`tail`、`grep`等命令或专用日志分析工具。了解系统和其服务详情有助于提取有用信息。
38 2
|
25天前
|
安全 Ubuntu Unix
/var/log/syslog日志说明
`/var/log/syslog`是Unix和Linux的日志文件,记录系统事件和消息,由`syslogd`或`rsyslogd`生成。日志条目含时间戳、主机名、PID、日志级别(如DEBUG、ERROR)和事件描述。内容涵盖系统启动/关闭、硬件错误、网络、用户登录、安全事件等。查看日志可使用`cat`、`tail`、`less`或`grep`命令。不过,不同Linux发行版可能有变,如Ubuntu使用`journald`和`journalctl`。
42 3
|
1月前
|
Java
使用Java代码打印log日志
使用Java代码打印log日志
89 1
|
1月前
|
Linux Shell
Linux手动清理Linux脚本日志定时清理日志和log文件执行表达式
Linux手动清理Linux脚本日志定时清理日志和log文件执行表达式
81 1
|
2月前
|
SQL 关系型数据库 MySQL
MySQL数据库,可以使用二进制日志(binary log)进行时间点恢复
对于MySQL数据库,可以使用二进制日志(binary log)进行时间点恢复。二进制日志是MySQL中记录所有数据库更改操作的日志文件。要进行时间点恢复,您需要执行以下步骤: 1. 确保MySQL配置文件中启用了二进制日志功能。在配置文件(通常是my.cnf或my.ini)中找到以下行,并确保没有被注释掉: Copy code log_bin = /path/to/binary/log/file 2. 在需要进行恢复的时间点之前创建一个数据库备份。这将作为恢复的基准。 3. 找到您要恢复到的时间点的二进制日志文件和位置。可以通过执行以下命令来查看当前的二进制日志文件和位
103 1
|
1天前
|
XML Java Maven
Springboot整合与使用log4j2日志框架【详解版】
该文介绍了如何在Spring Boot中切换默认的LogBack日志系统至Log4j2。首先,需要在Maven依赖中排除`spring-boot-starter-logging`并引入`spring-boot-starter-log4j2`。其次,创建`log4j2-spring.xml`配置文件放在`src/main/resources`下,配置包括控制台和文件的日志输出、日志格式和文件切分策略。此外,可通过在不同环境的`application.yml`中指定不同的log4j2配置文件。最后,文章提到通过示例代码解释了日志格式中的各种占位符含义。
|
2天前
|
运维 监控 Go
Golang深入浅出之-Go语言中的日志记录:log与logrus库
【4月更文挑战第27天】本文比较了Go语言中标准库`log`与第三方库`logrus`的日志功能。`log`简单但不支持日志级别配置和多样化格式,而`logrus`提供更丰富的功能,如日志级别控制、自定义格式和钩子。文章指出了使用`logrus`时可能遇到的问题,如全局logger滥用、日志级别设置不当和过度依赖字段,并给出了避免错误的建议,强调理解日志级别、合理利用结构化日志、模块化日志管理和定期审查日志配置的重要性。通过这些实践,开发者能提高应用监控和故障排查能力。
8 1
|
3天前
|
弹性计算 运维 Shell

相关产品

  • 日志服务