Kafka生产者——向 Kafka写入数据
不管是把 Kafka 作为消息队列、消息、总线还是数据存储平台来使用 ,总是需要有一个可以往 Kafka 写入数据的生产者和一个可以从 Kafka读取数据的消费者,或者一个兼具两种角 色的应用程序。
zookeeper和kafka的SASL认证以及生产实践
一、什么是zookeeper?
ZooKeeper是一个集中的服务,用于维护配置信息、命名、提供分布式同步以及提供组服务。所有这些类型的服务都以某种形式被分布式应用程序使用。每次它们被实现时,都有大量的工作需要去修复不可避免的bug和竞争条件。
用Flink取代Spark Streaming!知乎实时数仓架构演进
- 实时数仓 1.0 版本,主题:ETL 逻辑实时化,技术方案:Spark Streaming。
- 实时数仓 2.0 版本,主题:数据分层,指标计算实时化,技术方案:Flink Streaming。
- 实时数仓未来展望:Streaming SQL 平台化,元信息管理系统化,结果验收自动化。