码.农_个人页

2023年03月

• 03.09 17:20:41
  发表了文章 2023-03-09 17:20:41

  图解flink watermark工作原理

  watermark 我们从因为单词拆解翻译，就是水位线。既然是水位线，所以我觉得通过试管（化学实验器皿）来描述这个最合适不过了

  

2023年02月

• 02.13 14:14:52
  发表了文章 2023-02-13 14:14:52

  ES 和 clickhouse 对比选型

  clickhouse 是列式存储所以无法进行全文检索，所以更适合数据分析的需求。elasticsearch更适合高并发并且查询返回结果较少的全文检索，如搜索引擎。
• 02.13 14:10:35
  发表了文章 2023-02-13 14:10:35

  kafka-初识kafka

  - kafka是一个具有高吞吐，可水平扩展，可持久化的流式数据处理平台。 - kafka主要包括：消息系统、日志系统、流式处理平台、zookeeper 四大重要组件。 消息系统的重要概念：生产者（producer），消费者（customer），服务节点（broker）。消息系统中一个重要的原理：通过连通器原理实现了保持数据的一致性。

  
• 02.13 14:05:41
  发表了文章 2023-02-13 14:05:41

  kafka--高吞吐

  kafka通过分区并且借助页存储、零拷贝等技术实现高吞吐。
• 02.13 13:58:20
  发表了文章 2023-02-13 13:58:20

  kafka-消息一致性--连通器原理

  kafka通过多副本架构来保证数据的稳定性，这就必然会产生数据同步滞后的问题，因此保证数据一致性是一个关键因素。kafka通过连通器原理（注：连通器原理并非官方用词，是作者本人阅读时觉得和物理学的连通器原理比较相似，所以自行命名为连通器原理）的模式来保证数据的一致性。