02【在线日志分析】之基于Flume-ng Exec Source开发自定义插件AdvancedExecSource

本文涉及的产品
日志服务 SLS,月写入数据量 50GB 1个月
简介: 1.目的CDH的角色日志的一行基本组成:年月日 时分秒.毫秒 日志级别 日志信息 本博客主要是想基于Exec Source开发自定义插件AdvancedExecSource,将机器名称 和 服务名称 添加到一行数据的前面,则格式为:机器名称 服务名称 年月日 时分秒.毫秒 日志级别 日志信息   ; 2.关闭projet的Maven Project Builder选择 flume-ng-core,右键单击Properties,弹出Properties页面,单击左侧的Builders, 取消 Maven Project Builder,再 单击OK。

1.目的
CDH的角色日志的一行基本组成:年月日 时分秒.毫秒 日志级别 日志信息 

本博客主要是想基于Exec Source开发自定义插件AdvancedExecSource,将机器名称 和 服务名称 添加到一行数据的前面,则格式为:机器名称 服务名称 年月日 时分秒.毫秒 日志级别 日志信息  

2.关闭projet的Maven Project Builder

选择 flume-ng-core,右键单击Properties,弹出Properties页面,单击左侧的Builders, 取消 Maven Project Builder,再 单击OK。

 

3.由于 flume-ng-core的部分java文件抛错,所以要添加文件夹
选择 flume-ng-core,右键单击Properties,弹出Properties页面,单击左侧的Java Build Path,然后单击右侧的Source 页,单击Add Folder按钮,弹出选择页面;
选择 target/generated-sources/目录的annotations,avro,java,再单击ok;返回Properties页面,单击OK。
 


4.创建package为com.onlinelog.analysis
选择 flume-ng-core,右键单击
New,单击Package,输入com.onlinelog.analysis






5.手工将flume-ng-core的src/main/java目录的ora.apache.flume包下source包的ExecSource.java和ExecSoureceConfigurationConstants.java文件, 选中,拷贝一份至com.onlinelog.analysis包下;然后选择ExecSoure.java文件,右键选择Refactor-->Rename, 改为AdvancedExecSource,单击Finsh。



6.修改代码 AdvancedExecSource.java代码
已经将代码上传至GitHub: https://github.com/Hackeruncle/OnlineLogAnalysis

7.导出为AdvancedExecSource.jar包


#导出后会有warn提示,可以忽略。因为是一些import类没有使用而已。
相关实践学习
【涂鸦即艺术】基于云应用开发平台CAP部署AI实时生图绘板
【涂鸦即艺术】基于云应用开发平台CAP部署AI实时生图绘板
目录
相关文章
|
5月前
|
消息中间件 运维 监控
智能运维,由你定义:SAE自定义日志与监控解决方案
通过引入 Sidecar 容器的技术,SAE 为用户提供了更强大的自定义日志与监控解决方案,帮助用户轻松实现日志采集、监控指标收集等功能。未来,SAE 将会支持 istio 多租场景,帮助用户更高效地部署和管理服务网格。
417 52
|
11月前
|
Rust 前端开发 JavaScript
Tauri 开发实践 — Tauri 日志记录功能开发
本文介绍了如何为 Tauri 应用配置日志记录。Tauri 是一个利用 Web 技术构建桌面应用的框架。文章详细说明了如何在 Rust 和 JavaScript 代码中设置和集成日志记录,并控制日志输出。通过添加 `log` crate 和 Tauri 日志插件,可以轻松实现多平台日志记录,包括控制台输出、Webview 控制台和日志文件。文章还展示了如何调整日志级别以优化输出内容。配置完成后,日志记录功能将显著提升开发体验和程序稳定性。
544 1
Tauri 开发实践 — Tauri 日志记录功能开发
|
6月前
|
前端开发 JavaScript 程序员
鸿蒙开发:console日志输出
针对初学者而言,大家只需要掌握住日志打印即可,等到了鸿蒙应用开发的时候,还有一个鸿蒙原生的打印工具HiLog,到时,我们也会详细的去讲述,也会针对HiLog,封装一个通用的工具类。
183 11
鸿蒙开发:console日志输出
|
11月前
|
SQL 分布式计算 监控
Hadoop-20 Flume 采集数据双写至本地+HDFS中 监控目录变化 3个Agent MemoryChannel Source对比
Hadoop-20 Flume 采集数据双写至本地+HDFS中 监控目录变化 3个Agent MemoryChannel Source对比
166 3
|
11月前
|
分布式计算 Java Hadoop
Hadoop-18 Flume HelloWorld 第一个Flume尝试!编写conf实现Source+Channel+Sink 控制台查看收集到的数据 流式收集
Hadoop-18 Flume HelloWorld 第一个Flume尝试!编写conf实现Source+Channel+Sink 控制台查看收集到的数据 流式收集
124 1
|
6月前
|
消息中间件 运维 监控
智能运维,由你定义:SAE自定义日志与监控解决方案
SAE(Serverless应用引擎)是阿里云推出的全托管PaaS平台,致力于简化微服务应用开发与管理。为满足用户对可观测性和运维能力的更高需求,SAE引入Sidecar容器技术,实现日志采集、监控指标收集等功能扩展,且无需修改主应用代码。通过共享资源模式和独立资源模式,SAE平衡了资源灵活性与隔离性。同时,提供全链路运维能力,确保应用稳定性。未来,SAE将持续优化,支持更多场景,助力用户高效用云。
|
9月前
|
JSON 安全 API
.net 自定义日志类
在.NET中,创建自定义日志类有助于更好地管理日志信息。示例展示了如何创建、配置和使用日志记录功能,包括写入日志文件、设置日志级别、格式化消息等。注意事项涵盖时间戳、日志级别、JSON序列化、线程安全、日志格式、文件处理及示例使用。请根据需求调整代码。
141 13
|
10月前
|
监控 开发者
鸿蒙5.0版开发:使用HiLog打印日志(ArkTS)
在HarmonyOS 5.0中,HiLog是系统提供的日志系统,支持DEBUG、INFO、WARN、ERROR、FATAL五种日志级别。本文介绍如何在ArkTS中使用HiLog打印日志,并提供示例代码。通过合理使用HiLog,开发者可以更好地调试和监控应用。
755 16
|
10月前
|
JSON Java 数据库
SpringBoot项目使用AOP及自定义注解保存操作日志
SpringBoot项目使用AOP及自定义注解保存操作日志
200 1
|
11月前
|
SQL 分布式计算 Hadoop
Hadoop-19 Flume Agent批量采集数据到HDFS集群 监听Hive的日志 操作则把记录写入到HDFS 方便后续分析
Hadoop-19 Flume Agent批量采集数据到HDFS集群 监听Hive的日志 操作则把记录写入到HDFS 方便后续分析
183 2