# 云消息队列 Kafka 版 #
0
关注
10035内容
【赵渝强老师】大数据生态圈中的组件
本文介绍了大数据体系架构中的主要组件，包括Hadoop、Spark和Flink生态圈中的数据存储、计算和分析组件。数据存储组件包括HDFS、HBase、Hive和Kafka；计算组件包括MapReduce、Spark Core、Flink DataSet、Spark Streaming和Flink DataStream；分析组件包括Hive、Spark SQL和Flink SQL。文中还提供了相关组件的详细介绍和视频讲解。
【赵渝强老师】Kafka的主题与分区
Kafka 中的消息按主题分类，生产者发送消息到特定主题，消费者订阅主题消费。主题可分多个分区，每个分区仅属一个主题。消息追加到分区时，Broker 分配唯一偏移量地址，确保消息在分区内的顺序性。Kafka 保证分区有序而非主题有序。示例中，Topic A 有 3 个分区，分区可分布于不同 Broker 上，支持负载均衡和容错。视频讲解及图示详见原文。
【赵渝强老师】Kafka分区的副本机制
在Kafka中，每个主题可有多个分区，每个分区有多个副本。其中仅有一个副本为Leader，负责对外服务，其余为Follower。当Leader所在Broker宕机时，Follower可被选为新的Leader，实现高可用。文中附有示意图及视频讲解。
【赵渝强老师】Kafka的体系架构
Kafka消息系统是一个分布式系统，包含生产者、消费者、Broker和ZooKeeper。生产者将消息发送到Broker，消费者从Broker中拉取消息并处理。主题按分区存储，每个分区有唯一的偏移量地址，确保消息顺序。Kafka支持负载均衡和容错。视频讲解和术语表进一步帮助理解。
FlinkKafkaConsumer相同group.id多个任务消费kafka问题
当使用FlinkKafkaConsumer消费Kafka时，即使设置了相同的group.id，由于Flink内部管理partition的消费offset，两个程序仍能同时消费所有数据。这与KafkaConsumer不同，后者严格遵循消费组隔离原则，避免重复消费同一分区的数据。Flink为实现exactly-once语义，需要独立管理offset，这导致了上述现象。
风险数据集市整体架构及技术实现
【11月更文挑战第11天】在当今大数据时代，风险数据集市作为金融机构的核心基础设施之一，扮演着至关重要的角色。它不仅为银行、保险等金融机构提供了全面、准确的风险数据支持，还帮助这些机构实现了风险管理的精细化和智能化。本文将深入探讨一种基于大数据Lambda架构设计的风险数据集市整体架构，并详细介绍其底层实现原理及实现方式。
一图看懂云消息队列 RabbitMQ 版对比开源优势
一张图带您快速了解云消息队列 RabbitMQ 版对比开源版本的显著优势。
如何在Flink on YARN环境中配置Debezium CDC 3.0，以实现实时捕获数据库变更事件并将其传输到Flink进行处理
本文介绍了如何在Flink on YARN环境中配置Debezium CDC 3.0，以实现实时捕获数据库变更事件并将其传输到Flink进行处理。主要内容包括安装Debezium、配置Kafka Connect、创建Flink任务以及启动任务的具体步骤，为构建实时数据管道提供了详细指导。
java nio，netty，kafka 中经常提到“零拷贝”到底是什么？
零拷贝技术 Zero-Copy 是指计算机执行操作时，可以直接从源（如文件或网络套接字）将数据传输到目标缓冲区， 而不需要 CPU 先将数据从某处内存复制到另一个特定区域，从而减少上下文切换以及 CPU 的拷贝时间。
免费试用