Apache Flume-自定义 source(扩展)--功能测试实现|学习笔记

简介: 快速学习 Apache Flume-自定义 source(扩展)--功能测试实现

开发者学堂课程【Flume 基础应用实战-企业全场景解决方案 Apache Flume-自定义 source(扩展)--功能测试实现】学习笔记,与课程紧密联系,让用户快速学习知识。  

课程地址:https://developer.aliyun.com/learning/course/715/detail/12779


Apache Flume-自定义 source(扩展)--功能测试实现


当实现自定义 source 组件的代码开发之后接下来就来做一个功能的测试,看一下之前所说的逻辑到底能不能完成

首先,需要针对 maven 工程打成一个 jar 包放在 Flume lib 路径下。

回到编辑当中,因为这里使用的是 maven 的插件,所以说选择 maven project,这里面选择 package 击,这时,就会把工程的 jar 包打在 target 下,可以看到这里显示

图片1.png

target 下就有一个所谓的一个 jar,叫做 example-flume-1.1.jar,接下来就把这个 jar 包放置在 Flume 的 lib 路径下

图片2.png

接下来把刚才打的 jar 拖拽直接上传自定义组件就可以去识别它

图片3.png

然后 cd.. conf 路径下,做一个采集方案的编

图片4.png

现在回到讲义中来看一下这时候再去编写采集方案 source、channel、sink,为了方便,把 sink 打在屏幕上,打在日志上,而 source 这里指定了类型,注意这个类型要指定是刚才自定义实现类的一个全路径

图片5.png

也就是 my Sql 右键选择它的全路径叫做 copy reference,接下来连接的数据库地址用户名、密以及哪个表查询什么根据id字段,当前延迟三秒钟,这些信息就会随着采集方案的执行传入到 Flume 的代码当中来进行构建。

接下来看具体相关的操作,把配置文件当中mysqlsource.conf 拖拽制。

图片6.png 

然后返回上一级进行相关的启动

图片7.png

这时候看一下启动的命令就在讲义上直接使用

看一下执行效果到底跟想象的是否一样,右键执行一下,大家可以看这时候采集了四条数据

图片8.png

这四条数据就封装成 event 对象开始进行采集打印到屏幕上它现在一直在进行一个检测

因为刚才这个表当中只有四条记录从第四开始进行采入,这里面做个刷新,里面的值应该是 student,当前 current index 4,这样完成查询,接下来如果想验证一下功能好不好,还可以做一个操作,比如在这里手动地再添加一个值,假设5号,叫做 idcast

图片9.png

写完之后点击对号做一个提交刷新好之后,大家可以看到它又去执行了一个查询,数据把5号 idcast 查出来了

现在开始查询 iacast。

这时候组件制定上就相当于能够实时监控 mysql 数据库当中一张表的变化,只要有数据发生改变,它就可以执行我们的查询,把数据更新出来,导入到所需要的地方当中去,这里是把它打印在屏幕上,也可以把它打印到其他地方去,或者把它存储在相关介质中

这样就满足了自定义 source 的一个需求

相关文章
|
20天前
|
监控 Apache
【Flume】 Flume 区别分析:ExecSource、Spooldir Source、Taildir Source
【4月更文挑战第4天】 Flume 区别分析:ExecSource、Spooldir Source、Taildir Source
|
1月前
|
XML Java Apache
Apache Flink自定义 logback xml配置
Apache Flink自定义 logback xml配置
152 0
|
1月前
|
消息中间件 分布式计算 Kafka
硬核!Apache Hudi中自定义序列化和数据写入逻辑
硬核!Apache Hudi中自定义序列化和数据写入逻辑
33 1
|
5月前
|
SQL Java 应用服务中间件
Apache Doris 自定义C++ UDF之流程详解(1)
Apache Doris 自定义C++ UDF之流程详解(1)
116 0
|
2月前
|
Java 测试技术 编译器
JMM测试利器-JCStress学习笔记
JMM测试利器-JCStress学习笔记
|
4月前
|
Java 数据库连接 Maven
SpringBoot【付诸实践 01】SpringBoot自定义starter保姆级教程(说明+源码+配置+测试)
SpringBoot【付诸实践 01】SpringBoot自定义starter保姆级教程(说明+源码+配置+测试)
33 1
|
5月前
|
测试技术
【测试平台系列】第一章手撸压力机(三)自定义http请求
今天继续深入往下讲,上一篇咱们对http的客户端设置进行了结构化统一,现在咱们开始对http请求进行结构化统一,首先咱们梳理http请求包含的结构。
|
5月前
|
测试技术 Go
【测试平台系列】第一章手撸压力机(二)自定义http客户端配置
上一节简单实现了http发送get请求的客户端,但是在实际工作中,我们会对客户端有各种的设置,也会有各种的请求。
【测试平台系列】第一章手撸压力机(二)自定义http客户端配置
|
7月前
|
测试技术
一个 ABAP Development Tool 自定义 service endpoint 的测试工具
一个 ABAP Development Tool 自定义 service endpoint 的测试工具
41 0
|
8月前
java202303java学习笔记第四十六天-请求-postman接口测试
java202303java学习笔记第四十六天-请求-postman接口测试
54 0

热门文章

最新文章

推荐镜像

更多