Kafka 环境部署搭建
一、基本概念介绍Kafka是一个分布式的、可分区的、可复制的消息系统。它提供了普通消息系统的功能，但具有自己独特的设计。这个独特的设计是什么样的呢？首先让我们看几个基本的消息系统术语：Kafka将消息以topic为单位进行归纳。
kafka设计与原理
一、kafka的一些重要设计思想：
1. Consumergroup:各个consumer可以zuche组成一个组，每个消息只能组中一个consumer消费，如果一个消息可以被多个consumer消费的话，那么这些consumer必须在不同的组。
Kafka的offset管理
消费者需要自己保留一个offset，从kafka 获取消息时，只拉去当前offset 以后的消息。Kafka 的scala/java 版的client 已经实现了这部分的逻辑，将offset 保存到zookeeper 上
1.
实时数据交换平台 - BottledWater-pg with confluent
标签
PostgreSQL , Bottled Water , Kafka , Confluent , IoT
背景
想必大家都在图书馆借过书，小时候有好看的书也会在小伙伴之间传阅。
借书和数据泵有点类似，一份数据通过数据泵实时的分享给订阅者。
例如在IoT的场景中，有流式分析的需求，也有存储历史数据的需求，同时还有数据挖掘的需求，搜索引擎可能也需要同一份数据，还有一些业务可能也要用
