# 云消息队列 Kafka 版 #
0
关注
10066内容
秒级灾备恢复：Kafka 2025 AI自愈集群下载及跨云Topic迁移终极教程
Apache Kafka 2025作为企业级实时数据中枢，实现五大革新：量子安全传输（CRYSTALS-Kyber抗量子加密算法）、联邦学习总线（支持TensorFlow Federated/Horizontal FL框架）、AI自愈集群（MTTR缩短至30秒内）、多模态数据处理（原生支持视频流、3D点云等）和跨云弹性扩展（AWS/GCP/Azure间自动迁移）。平台采用混合云基础设施矩阵与软件依赖拓扑设计，提供智能部署架构。安装流程涵盖抗量子安装包获取、量子密钥配置及联邦学习总线设置。
原理剖析| Kafka Exactly Once 语义实现原理：幂等性与事务消息
原理剖析| Kafka Exactly Once 语义实现原理：幂等性与事务消息
AutoMQ 助力曹操出行解决 Kafka 中秋国庆扩容痛点
AutoMQ 助力曹操出行解决 Kafka 中秋国庆扩容痛点
基于 Flink CDC YAML 的 MySQL 到 Kafka 流式数据集成
基于 Flink CDC YAML 的 MySQL 到 Kafka 流式数据集成
基于 Flink CDC YAML 的 MySQL 到 Kafka 流式数据集成
本教程展示如何使用Flink CDC YAML快速构建从MySQL到Kafka的流式数据集成作业，涵盖整库同步和表结构变更同步。无需编写Java/Scala代码或安装IDE，所有操作在Flink CDC CLI中完成。首先准备Flink Standalone集群和Docker环境（包括MySQL、Kafka和Zookeeper），然后通过配置YAML文件提交任务，实现数据同步。教程还介绍了路由变更、写入多个分区、输出格式设置及上游表名到下游Topic的映射等功能，并提供详细的命令和示例。最后，包含环境清理步骤以确保资源释放。
【赵渝强老师】Kafka的消费者与消费者组
Kafka消费者是从Kafka集群中消费数据的客户端。单消费者模型在数据生产速度超过消费速度时会导致数据堆积。为解决此问题，Kafka引入了消费者组的概念，允许多个消费者共同消费同一主题的消息。消费者组由一个或多个消费者组成，它们动态分配和重新分配主题分区，确保消息处理的高效性和可靠性。视频讲解及示意图详细展示了这一机制。
【赵渝强老师】Kafka生产者的消息发送方式
Kafka生产者支持三种消息发送方式：1. **fire-and-forget**：发送后不关心结果，适用于允许消息丢失的场景；2. **同步发送**：通过Future对象确保消息成功送达，适用于高可靠性需求场景；3. **异步发送**：使用回调函数处理结果，吞吐量较高但牺牲部分可靠性。视频和代码示例详细讲解了这三种方式的具体实现。
【赵渝强老师】Kafka生产者的执行过程
Kafka生产者（Producer）将消息序列化后发送到指定主题的分区。整个过程由主线程和Sender线程协调完成。主线程创建KafkaProducer对象及ProducerRecord，经过拦截器、序列化器和分区器处理后，消息进入累加器。Sender线程负责从累加器获取消息并发送至KafkaBroker，Broker返回响应或错误信息，生产者根据反馈决定是否重发。视频和图片详细展示了这一流程。
鹰角基于 Flink + Paimon + Trino 构建湖仓一体化平台实践项目
本文整理自鹰角网络大数据开发工程师朱正军在Flink Forward Asia 2024上的分享，主要涵盖四个方面：鹰角数据平台架构、数据湖选型、湖仓一体建设及未来展望。文章详细介绍了鹰角如何构建基于Paimon的数据湖，解决了Hudi入湖的痛点，并通过Trino引擎和Ranger权限管理实现高效的数据查询与管控。此外，还探讨了湖仓一体平台的落地效果及未来技术发展方向，包括Trino与Paimon的集成增强、StarRocks的应用以及Paimon全面替换Hive的计划。
美的楼宇科技基于阿里云 EMR Serverless Spark 构建 LakeHouse 湖仓数据平台
美的楼宇科技基于阿里云 EMR Serverless Spark 建设 IoT 数据平台，实现了数据与 AI 技术的有效融合，解决了美的楼宇科技设备数据量庞大且持续增长、数据半结构化、数据价值缺乏深度挖掘的痛点问题。并结合 EMR Serverless StarRocks 搭建了 Lakehouse 平台，最终实现不同场景下整体性能提升50%以上，同时综合成本下降30%。
免费试用