参考文章
https://www.confluent.io/product/confluent-platform/
http://blog.csdn.net/amghost/article/details/44258841
http://blog.csdn.net/amghost/article/details/44258817
https://github.com/confluentinc/camus
Linkedin Camus，从Kafka到HDFS的数据传输管道
2017-08-28
1530
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《
阿里云开发者社区用户服务协议》和
《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写
侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
本文涉及的产品
简介：
参考文章https://www.confluent.io/product/confluent-platform/http://blog.csdn.net/amghost/article/details/44258841http://blog.
目录
相关文章
|
消息中间件
分布式计算
Hadoop
kafka connect，将数据批量写到hdfs完整过程
版权声明：本文为博主原创文章，未经博主允许不得转载
本文是基于hadoop 2.7.1，以及kafka 0.11.0.0。kafka-connect是以单节点模式运行，即standalone。
一. 首先，先对kafka和kafka connect做一个简单的介绍
kafka：Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者规模的网站中的所有动作流数据。
2150
0
0
|
10月前
|
消息中间件
存储
分布式计算
|
7月前
|
消息中间件
存储
Kafka
|
12月前
|
消息中间件
Java
Kafka
|
12月前
|
消息中间件
Java
Kafka
|
消息中间件
缓存
分布式计算
|
消息中间件
Kafka
SQL
使用EMR-Flume同步Kafka数据到HDFS
Flume是一个分布式、可靠和高效的数据汇聚系统，其source、channel和sink的结构设计，不仅实现了数据生产者与消费者的解耦，还提供了数据缓冲的功能。一个比较通用的使用场景是使用Flume将Kafka的数据按照时间分区同步至HDFS，进行实时的流式分析或离线统计。
2410
0
0
|
1天前
|
消息中间件
安全
Kafka
|
1天前
|
消息中间件
存储
数据可视化
|
7月前
|
消息中间件
存储
Kubernetes
热门文章
最新文章
1
深度探索：使用Apache Kafka构建高效Java消息队列处理系统
2
客户端向hdfs读写数据流程
3
世界杯项目案例:HDFS分布式文件系统
4
hadoop: hdfs API示例
5
HDFS源码分析数据块之CorruptReplicasMap
6
hdfs命令
7
Hadoop源码学习之HDFS（一）
8
hadoop命令——hdfs
9
HDFS的linux下开发环境准备
10
好程序员大数据培训分享之HDFS设计思想和相关概念
1
深度探索：使用Apache Kafka构建高效Java消息队列处理系统
28
2
【Kafka】分区副本中的 Leader 如果宕机但 ISR 却为空该如何处理
270
3
【Kafka】Replica 的重要性
29
4
【Kafka】Replica、Leader 和 Follower 三者的概念分析
30
5
Kafka消费者：监听模式VS主动拉取，哪种更适合你？
61
6
Kafka重要配置参数全面解读(重要)
48
7
了解Kafka位移自动提交的秘密：避免常见陷阱的方法
36
8
揭秘Kafka拦截器的神奇操作
24
9
深入了解Kafka的数据持久化机制
41
10
深度解析Kafka中的消息奥秘
42