Flink Kafka Connector 与 Exactly Once 剖析
Flink Kafka Connector 是 Flink 内置的 Kafka 连接器,它包含了从 Kafka Topic 读入数据的 Flink Kafka Consumer 以及向 Kafka Topic 写出数据的 Flink Kafka Producer,除此之外 Flink Kafa Connector 基于 Flink Checkpoint 机制提供了完善的容错能力。
Kafka分布式安装及验证测试
一、安装
Kafka依赖于ZooKeeper,所以在安装Kafka之前请确保ZooKeeper集群已安装正确并能正常运行。虽然Kafka自身内置了ZooKeeper,但是还是建议大家单独部署ZooKeeper集群,因为可能其他框架也需要使用ZooKeeper。
X-Pack Spark使用[FAQ]
概述
本文主要列出在使用X-Pack Spark的FAQ。
Spark Connectors
主要列举Spark 对接其它数据源遇到的问题
Spark on HBase
Spark on HBase Connector:如何在Spark侧设置HBase参数。