Apache Flume-自定义 source(扩展)--功能测试实现|学习笔记

简介: 快速学习 Apache Flume-自定义 source(扩展)--功能测试实现

开发者学堂课程【Flume 基础应用实战-企业全场景解决方案 Apache Flume-自定义 source(扩展)--功能测试实现】学习笔记,与课程紧密联系,让用户快速学习知识。  

课程地址:https://developer.aliyun.com/learning/course/715/detail/12779


Apache Flume-自定义 source(扩展)--功能测试实现


当实现自定义 source 组件的代码开发之后接下来就来做一个功能的测试,看一下之前所说的逻辑到底能不能完成

首先,需要针对 maven 工程打成一个 jar 包放在 Flume lib 路径下。

回到编辑当中,因为这里使用的是 maven 的插件,所以说选择 maven project,这里面选择 package 击,这时,就会把工程的 jar 包打在 target 下,可以看到这里显示

图片1.png

target 下就有一个所谓的一个 jar,叫做 example-flume-1.1.jar,接下来就把这个 jar 包放置在 Flume 的 lib 路径下

图片2.png

接下来把刚才打的 jar 拖拽直接上传自定义组件就可以去识别它

图片3.png

然后 cd.. conf 路径下,做一个采集方案的编

图片4.png

现在回到讲义中来看一下这时候再去编写采集方案 source、channel、sink,为了方便,把 sink 打在屏幕上,打在日志上,而 source 这里指定了类型,注意这个类型要指定是刚才自定义实现类的一个全路径

图片5.png

也就是 my Sql 右键选择它的全路径叫做 copy reference,接下来连接的数据库地址用户名、密以及哪个表查询什么根据id字段,当前延迟三秒钟,这些信息就会随着采集方案的执行传入到 Flume 的代码当中来进行构建。

接下来看具体相关的操作,把配置文件当中mysqlsource.conf 拖拽制。

图片6.png 

然后返回上一级进行相关的启动

图片7.png

这时候看一下启动的命令就在讲义上直接使用

看一下执行效果到底跟想象的是否一样,右键执行一下,大家可以看这时候采集了四条数据

图片8.png

这四条数据就封装成 event 对象开始进行采集打印到屏幕上它现在一直在进行一个检测

因为刚才这个表当中只有四条记录从第四开始进行采入,这里面做个刷新,里面的值应该是 student,当前 current index 4,这样完成查询,接下来如果想验证一下功能好不好,还可以做一个操作,比如在这里手动地再添加一个值,假设5号,叫做 idcast

图片9.png

写完之后点击对号做一个提交刷新好之后,大家可以看到它又去执行了一个查询,数据把5号 idcast 查出来了

现在开始查询 iacast。

这时候组件制定上就相当于能够实时监控 mysql 数据库当中一张表的变化,只要有数据发生改变,它就可以执行我们的查询,把数据更新出来,导入到所需要的地方当中去,这里是把它打印在屏幕上,也可以把它打印到其他地方去,或者把它存储在相关介质中

这样就满足了自定义 source 的一个需求

相关文章
|
1月前
|
安全 Linux 虚拟化
|
2月前
|
SQL 分布式计算 监控
Hadoop-20 Flume 采集数据双写至本地+HDFS中 监控目录变化 3个Agent MemoryChannel Source对比
Hadoop-20 Flume 采集数据双写至本地+HDFS中 监控目录变化 3个Agent MemoryChannel Source对比
69 3
|
2月前
|
分布式计算 Java Hadoop
Hadoop-18 Flume HelloWorld 第一个Flume尝试!编写conf实现Source+Channel+Sink 控制台查看收集到的数据 流式收集
Hadoop-18 Flume HelloWorld 第一个Flume尝试!编写conf实现Source+Channel+Sink 控制台查看收集到的数据 流式收集
33 1
|
4月前
|
测试技术 Android开发 Python
探索软件测试的艺术:从基础到高级安卓应用开发中的自定义视图
【8月更文挑战第29天】在软件开发的世界中,测试是不可或缺的一环。它如同艺术一般,需要精细的技巧和深厚的知识。本文旨在通过浅显易懂的语言,引领读者从软件测试的基础出发,逐步深入到更复杂的测试策略和工具的使用,最终达到能够独立进行高效测试的水平。我们将一起探索如何通过不同的测试方法来确保软件的质量和性能,就像艺术家通过不同的色彩和笔触来完成一幅画作一样。
|
2月前
|
机器学习/深度学习 JSON 算法
实例分割笔记(一): 使用YOLOv5-Seg对图像进行分割检测完整版(从自定义数据集到测试验证的完整流程)
本文详细介绍了使用YOLOv5-Seg模型进行图像分割的完整流程,包括图像分割的基础知识、YOLOv5-Seg模型的特点、环境搭建、数据集准备、模型训练、验证、测试以及评价指标。通过实例代码,指导读者从自定义数据集开始,直至模型的测试验证,适合深度学习领域的研究者和开发者参考。
764 3
实例分割笔记(一): 使用YOLOv5-Seg对图像进行分割检测完整版(从自定义数据集到测试验证的完整流程)
|
29天前
|
安全 测试技术 持续交付
云计算时代的软件开发与测试:高效、灵活、可扩展
云计算时代的软件开发与测试:高效、灵活、可扩展
|
2月前
|
机器学习/深度学习 JSON 算法
语义分割笔记(二):DeepLab V3对图像进行分割(自定义数据集从零到一进行训练、验证和测试)
本文介绍了DeepLab V3在语义分割中的应用,包括数据集准备、模型训练、测试和评估,提供了代码和资源链接。
267 0
语义分割笔记(二):DeepLab V3对图像进行分割(自定义数据集从零到一进行训练、验证和测试)
|
2月前
|
机器学习/深度学习 算法 PyTorch
目标检测实战(五): 使用YOLOv5-7.0版本对图像进行目标检测完整版(从自定义数据集到测试验证的完整流程)
本文详细介绍了使用YOLOv5-7.0版本进行目标检测的完整流程,包括算法介绍、环境搭建、数据集准备、模型训练、验证、测试以及评价指标。YOLOv5以其高精度、快速度和模型小尺寸在计算机视觉领域受到广泛应用。
843 0
目标检测实战(五): 使用YOLOv5-7.0版本对图像进行目标检测完整版(从自定义数据集到测试验证的完整流程)
|
2月前
|
存储 数据采集 分布式计算
Hadoop-17 Flume 介绍与环境配置 实机云服务器测试 分布式日志信息收集 海量数据 实时采集引擎 Source Channel Sink 串行复制负载均衡
Hadoop-17 Flume 介绍与环境配置 实机云服务器测试 分布式日志信息收集 海量数据 实时采集引擎 Source Channel Sink 串行复制负载均衡
54 1
|
3月前
|
SQL 消息中间件 Java
兼容Trino Connector,扩展Apache Doris数据源接入能力|Lakehouse 使用手册(四)
通过兼容 Connector 插件,Apache Doris 能够支持 Trino/Presto 可对接的所有数据源,而无需改动 Doris 的内核代码。
兼容Trino Connector,扩展Apache Doris数据源接入能力|Lakehouse 使用手册(四)

推荐镜像

更多