Apache Flume-自定义 source(扩展)--功能测试实现|学习笔记

简介: 快速学习 Apache Flume-自定义 source(扩展)--功能测试实现

开发者学堂课程【Flume 基础应用实战-企业全场景解决方案 Apache Flume-自定义 source(扩展)--功能测试实现】学习笔记,与课程紧密联系,让用户快速学习知识。  

课程地址:https://developer.aliyun.com/learning/course/715/detail/12779


Apache Flume-自定义 source(扩展)--功能测试实现


当实现自定义 source 组件的代码开发之后接下来就来做一个功能的测试,看一下之前所说的逻辑到底能不能完成

首先,需要针对 maven 工程打成一个 jar 包放在 Flume lib 路径下。

回到编辑当中,因为这里使用的是 maven 的插件,所以说选择 maven project,这里面选择 package 击,这时,就会把工程的 jar 包打在 target 下,可以看到这里显示

图片1.png

target 下就有一个所谓的一个 jar,叫做 example-flume-1.1.jar,接下来就把这个 jar 包放置在 Flume 的 lib 路径下

图片2.png

接下来把刚才打的 jar 拖拽直接上传自定义组件就可以去识别它

图片3.png

然后 cd.. conf 路径下,做一个采集方案的编

图片4.png

现在回到讲义中来看一下这时候再去编写采集方案 source、channel、sink,为了方便,把 sink 打在屏幕上,打在日志上,而 source 这里指定了类型,注意这个类型要指定是刚才自定义实现类的一个全路径

图片5.png

也就是 my Sql 右键选择它的全路径叫做 copy reference,接下来连接的数据库地址用户名、密以及哪个表查询什么根据id字段,当前延迟三秒钟,这些信息就会随着采集方案的执行传入到 Flume 的代码当中来进行构建。

接下来看具体相关的操作,把配置文件当中mysqlsource.conf 拖拽制。

图片6.png 

然后返回上一级进行相关的启动

图片7.png

这时候看一下启动的命令就在讲义上直接使用

看一下执行效果到底跟想象的是否一样,右键执行一下,大家可以看这时候采集了四条数据

图片8.png

这四条数据就封装成 event 对象开始进行采集打印到屏幕上它现在一直在进行一个检测

因为刚才这个表当中只有四条记录从第四开始进行采入,这里面做个刷新,里面的值应该是 student,当前 current index 4,这样完成查询,接下来如果想验证一下功能好不好,还可以做一个操作,比如在这里手动地再添加一个值,假设5号,叫做 idcast

图片9.png

写完之后点击对号做一个提交刷新好之后,大家可以看到它又去执行了一个查询,数据把5号 idcast 查出来了

现在开始查询 iacast。

这时候组件制定上就相当于能够实时监控 mysql 数据库当中一张表的变化,只要有数据发生改变,它就可以执行我们的查询,把数据更新出来,导入到所需要的地方当中去,这里是把它打印在屏幕上,也可以把它打印到其他地方去,或者把它存储在相关介质中

这样就满足了自定义 source 的一个需求

相关文章
|
存储 NoSQL 关系型数据库
PostgreSQL列存扩展hydra简单测试
Hydra是一款PostgreSQL的扩展,为PostgreSQL增加了列存引擎,使得PostgreSQL的olap性能大幅提升,本文介绍Hydra基本的使用方法。
|
测试技术
自动化测试项目学习笔记(五):Pytest结合allure生成测试报告以及重构项目
本文介绍了如何使用Pytest和Allure生成自动化测试报告。通过安装allure-pytest和配置环境,可以生成包含用例描述、步骤、等级等详细信息的美观报告。文章还提供了代码示例和运行指南,以及重构项目时的注意事项。
1108 1
自动化测试项目学习笔记(五):Pytest结合allure生成测试报告以及重构项目
|
测试技术 Python
自动化测试项目学习笔记(四):Pytest介绍和使用
本文是关于自动化测试框架Pytest的介绍和使用。Pytest是一个功能丰富的Python测试工具,支持参数化、多种测试类型,并拥有众多第三方插件。文章讲解了Pytest的编写规则、命令行参数、执行测试、参数化处理以及如何使用fixture实现测试用例间的调用。此外,还提供了pytest.ini配置文件示例。
632 2
|
测试技术 Python
自动化测试项目学习笔记(二):学习各种setup、tearDown、断言方法
本文主要介绍了自动化测试中setup、teardown、断言方法的使用,以及unittest框架中setUp、tearDown、setUpClass和tearDownClass的区别和应用。
397 0
自动化测试项目学习笔记(二):学习各种setup、tearDown、断言方法
|
SQL 消息中间件 大数据
大数据-159 Apache Kylin 构建Cube 准备和测试数据(一)
大数据-159 Apache Kylin 构建Cube 准备和测试数据(一)
308 1
|
SQL 大数据 Apache
大数据-159 Apache Kylin 构建Cube 准备和测试数据(二)
大数据-159 Apache Kylin 构建Cube 准备和测试数据(二)
196 1
|
存储 数据采集 分布式计算
Hadoop-17 Flume 介绍与环境配置 实机云服务器测试 分布式日志信息收集 海量数据 实时采集引擎 Source Channel Sink 串行复制负载均衡
Hadoop-17 Flume 介绍与环境配置 实机云服务器测试 分布式日志信息收集 海量数据 实时采集引擎 Source Channel Sink 串行复制负载均衡
235 1
|
安全 测试技术 持续交付
云计算时代的软件开发与测试:高效、灵活、可扩展
云计算时代的软件开发与测试:高效、灵活、可扩展
|
存储 大数据 Apache
大数据-146 Apache Kudu 安装运行 Dockerfile 模拟集群 启动测试
大数据-146 Apache Kudu 安装运行 Dockerfile 模拟集群 启动测试
150 0

热门文章

最新文章

推荐镜像

更多