Kafka

首页 标签 Kafka
# Kafka #
关注
9975内容
|
4月前
|
消息中间件篇
本内容总结了RabbitMQ与Kafka在消息队列中的常见问题及解决方案,涵盖消息不丢失、不重复消费、顺序性、高可用、性能优化等方面,适用于面试或技术选型参考。
|
4月前
|
跟着大厂学架构01:如何利用开源方案,复刻B站那套“永不崩溃”的评论系统?
本文基于B站技术团队分享的《B站评论系统的多级存储架构》,解析其在高并发场景下的设计精髓,并通过开源技术栈(MySQL、Redis、Java)复刻其实现。文章深入讲解了多级存储、数据同步、容灾降级等关键设计,并附有完整代码实现,助你掌握大厂架构设计之道。
Kafka为何这么快?企业级Kafka该怎么部署?
Kafka凭借其高吞吐、低延迟和横向扩展能力,成为现代实时数据处理的核心组件。其“快”源于顺序写盘、零拷贝、批量处理和无锁设计等架构优化。本文深入解析Kafka的高效机制,并探讨企业在实际应用中的架构设计、安全管理与平台化治理策略,助力构建稳定高效的数据流平台。
|
4月前
|
6-MQ篇
本内容详细介绍了RabbitMQ、Kafka和EMQ三种消息中间件的应用场景及核心机制。包括RabbitMQ的消息可靠性传输、顺序性保障、死信处理;Kafka的高吞吐设计、数据清理机制与高性能实现;以及EMQ在物联网中的应用及其QoS保障机制。适用于微服务架构中异步通信、流量削峰和解耦场景,同时探讨了消息丢失、重复消费等问题的解决方案。
Apache Kafka 3.0与KRaft模式的革新解读
在该架构中,Kafka集群依旧包含多个broker节点,但已不再依赖ZooKeeper集群。被选中的Kafka集群Controller将从KRaft Quorum中加载其状态,并在必要时通知其他Broker节点关于元数据的变更。这种设计支持更多分区与快速Controller切换,并有效避免了因数据不一致导致的问题。
绩效系统的技术重构:用工程思维解决公平性与效率难题
本文探讨如何通过技术重构绩效系统,解决评分公平性、数据孤岛与流程低效问题。从规则引擎、数据管道到自动化流程,提出工程化解决方案,并提供技术选型与实践建议,助力团队实现高效透明的绩效管理。
zk基础—5.Curator的使用与剖析
本文主要介绍了基于Curator进行基本的zk数据操作、基于Curator实现集群元数据管理、基于Curator实现HA主备自动切换、基于Curator实现Leader选举、基于Curator实现分布式Barrier、基于Curator实现分布式计数器、基于Curator实现zk的节点和子节点监听机制、基于Curator创建客户端实例的源码分析、Curator在启动时是如何跟zk建立连接的、基于Curator进行增删改查节点的源码分析、基于Curator的节点监听回调机制的实现源码、基于Curator的Leader选举机制的实现源码。
zk基础—2.架构原理和使用场景
ZooKeeper(ZK)是一个分布式协调服务,广泛应用于分布式系统中。它提供了分布式锁、元数据管理、Master选举及分布式协调等功能,适用于如Kafka、HDFS、Canal等开源分布式系统。ZK集群采用主从架构,具有顺序一致性、高性能、高可用和高并发等特点。其核心机制包括ZAB协议(保证数据一致性)、Watcher监听回调机制(实现通知功能)、以及基于临时顺序节点的分布式锁实现。ZK适合小规模集群部署,主要用于读多写少的场景。
免费试用