暂无个人介绍
watermark 我们从因为单词拆解翻译,就是水位线。既然是水位线,所以我觉得通过试管(化学实验器皿)来描述这个最合适不过了
clickhouse 是列式存储所以无法进行全文检索,所以更适合数据分析的需求。elasticsearch更适合高并发并且查询返回结果较少的全文检索,如搜索引擎。
- kafka是一个具有高吞吐,可水平扩展,可持久化的流式数据处理平台。 - kafka主要包括:消息系统、日志系统、流式处理平台、zookeeper 四大重要组件。 消息系统的重要概念:生产者(producer),消费者(customer),服务节点(broker)。消息系统中一个重要的原理:通过连通器原理实现了保持数据的一致性。
kafka通过分区并且借助页存储、零拷贝等技术实现高吞吐。
kafka通过多副本架构来保证数据的稳定性,这就必然会产生数据同步滞后的问题,因此保证数据一致性是一个关键因素。kafka通过连通器原理(注:连通器原理并非官方用词,是作者本人阅读时觉得和物理学的连通器原理比较相似,所以自行命名为连通器原理)的模式来保证数据的一致性。