开发者社区> 佛时仔肩> 正文
阿里云
为了无法计算的价值
打开APP
阿里云APP内打开

Kafka修炼日志(二):Connect简明使用教程

简介: Connect是Kafka 0.9版本新增的功能,可以方便的从其它源导入数据到Kafka数据流(指定Topic中),也可以方便的从Kafka数据流(指定Topic中)导出数据到其它源。
+关注继续查看

Connect是Kafka 0.9版本新增的功能,可以方便的从其它源导入数据到Kafka数据流(指定Topic中),也可以方便的从Kafka数据流(指定Topic中)导出数据到其它源。

      下面结合官方教程详述如何使用File Connector导入数据到Kafka Topic,和导出数据到File:

(1)创建文本文件test.txt,作为其它数据源。

[root@localhost home]# echo -e "connector\ntest" > test.txt

image.gifimage.gif

(2)启动Connect实验脚本,此脚本为官方提供的实验脚本,默认Connector是 File Connector。

[root@localhost kafka_2.12-0.10.2.0]# ./bin/connect-standalone.sh config/connect-standalone.properties config/connect-file-source.properties config/connect-file-sink.properties

image.gifimage.gif

出现下方错误,是因为文件位置不对,默认应将test.txt文件建立在Kafka目录下,和bin目录同级。

[2017-03-20 13:36:14,879] WARN Couldn't find file test.txt for FileStreamSourceTask, sleeping to wait for it to be created (org.apache.kafka.connect.file.FileStreamSourceTask:106)

image.gifimage.gif

出现下方错误,是因为Standalone模式Zookeeper会自动停止工作,重启Zookeeper服务器即可,如错误继续出现,重启Kafka服务器即可。

[2017-03-20 13:38:07,832] ERROR Failed to commit offsets for WorkerSourceTask{id=local-file-source-0} (org.apache.kafka.connect.runtime.SourceTaskOffsetCommitter:112)
[2017-03-20 13:38:22,833] ERROR Failed to flush WorkerSourceTask{id=local-file-source-0}, timed out while waiting for producer to flush outstanding 1 messages (org.apache.kafka.connect.runtime.WorkerSourceTask:304)

image.gifimage.gif

(3)查看导出文件,test.sink.txt,可以看到消费到的消息。 

[root@localhost kafka_2.12-0.10.2.0]# cat test.sink.txt
connector
test

image.gifimage.gif

(4)消息已被存储到Topic:connect-test ,也可以启动一个消费者消费消息。

[root@localhost kafka_2.12-0.10.2.0]# ./bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic connect-test --from-beginning &

image.gifimage.gif

消费者消费的消息 :

[root@localhost kafka_2.12-0.10.2.0]# {"schema":{"type":"string","optional":false},"payload":"connector"}
{"schema":{"type":"string","optional":false},"payload":"test"}

image.gifimage.gif

 (5)编辑文件test.txt,新增一条消息,由于Connector此时已经启动,可以实时的看到消费者消费到的新消息。

[root@localhost kafka_2.12-0.10.2.0]# echo "Another line" >> test.txt

image.gifimage.gif

新的消息,已被实时消费:

[root@localhost kafka_2.12-0.10.2.0]# {"schema":{"type":"string","optional":false},"payload":"connector"}
{"schema":{"type":"string","optional":false},"payload":"test"}
{"schema":{"type":"string","optional":false},"payload":"Another line"}

image.gifimage.gif

 

本文属作者原创,转贴请声明!

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
wangEditor-基于javascript和css开发的 Web富文本编辑器, 轻量、简洁、易用、开源免费(1)
wangEditor-基于javascript和css开发的 Web富文本编辑器, 轻量、简洁、易用、开源免费 wangEditor基本配置 1 DOCTYPE html> 2 3 4 5 6 wangEditor基本操作 7 8 9 .
1436 0
使用mpvue开发小程序教程(二)
在上一篇文章中,我们介绍了使用mpvue开发小程序所需要的一些开发环境的搭建,并创建了第一个mpvue小程序代码骨架并将其运行起来。在本文中,我们来研究熟悉一下mpvue项目的主要目录和文件结构。
1530 0
JSP web应用程序开发教程实验二
版权声明:转载请注明出处:http://blog.csdn.net/dajitui2024 https://blog.csdn.net/dajitui2024/article/details/79396229 ...
944 0
VS2010使用c++、gSOAP创建WebService 图文教程
VS2010使用c++、gSOAP创建的WebService 图文教程 环境操作系统:Windows 7gsoap版本:2.8.32C++编译器/开发环境:Visual Studio 2010 gSOAP是什么 gSOAP编译工具提供了一个SOAP/XML 关于C/C++ 语言的实现,从而让C/C++语言开发web服务或客户端程序的工作变得轻松了很多。
1108 0
ASP.NET Web Service中使用Session 及 Session丢失解决方法 续
原文:ASP.NET Web Service中使用Session 及 Session丢失解决方法 续 1、关于Session丢失问题的说明汇总,参考这里 2、在Web Servcie中使用Session,需要对Web Method做如下处理 [WebMethod(EnableSession = true)]public void usingSession(){    Session["Name"] = "Name";}   如果不加EnableSession = true,在Web Service中是不能使用Session的。
679 0
WebService大讲堂之Axis2(10):使用soapmonitor模块监视soap请求与响
本文为原创,如需转载,请注明作者和出处,谢谢!     在Axis2中提供了一个Axis2模块(soapmonitor),该模块实现了与《WebService大讲堂之Axis2(9):编写Axis2模块(Module)》中实现的logging模块相同的功能,所不同的是,logging模块直接将SOAP请求与响应消息输出到Tomcat控制台中,而soapmonitor模块利用applet直接在页面中输出SOAP请求和响应消息。
856 0
+关注
佛时仔肩
游荡在三元混沌世界的新生代老农!
4
文章
0
问答
文章排行榜
最热
最新
相关电子书
更多
低代码开发师(初级)实战教程
立即下载
阿里巴巴DevOps 最佳实践手册
立即下载
冬季实战营第三期:MySQL数据库进阶实战
立即下载