开发者社区> 问答> 正文

如何设计Kafka消息队列?

如何设计Kafka消息队列?

展开
收起
花开富贵111 2024-05-23 17:00:46 11 0
1 条回答
写回答
取消 提交回答
  • 需要支持快速水平扩容,broker+partition,partition放不同的机器上,增加机器时将数据根据topic做迁移,分布式需要考虑一致性、可用性、分区容错性
    • 一致性:生产者的消息确认、消费者的幂等性、Broker的数据同步;
    • 可用性:数据如何保证不丢不重、数据如何持久化、持久化时如何读写;
    • 分区容错:采用何种选举机制、如何进行多副本同步;
    • 海量数据:如何解决消息积压、海量Topic性能下降;
    性能上,可以借鉴时间轮、零拷贝、IO多路复用、顺序读写、压缩批处理。

    2024-05-23 17:14:11
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
企业互联网架构之消息队列 立即下载
基于消息队列RocketMQ的大型分布式应用上云最佳实践 立即下载
云原生消息队列Apache RocketMQ 立即下载