# 云消息队列 Kafka 版 #
0
关注
10035内容
java nio，netty，kafka 中经常提到“零拷贝”到底是什么？
零拷贝技术 Zero-Copy 是指计算机执行操作时，可以直接从源（如文件或网络套接字）将数据传输到目标缓冲区， 而不需要 CPU 先将数据从某处内存复制到另一个特定区域，从而减少上下文切换以及 CPU 的拷贝时间。
千亿消息“过眼云烟”？Kafka把硬盘当内存用的性能魔法，全靠这一手！
Apache Kafka 是由 LinkedIn 开发并捐赠给 Apache 基金会的分布式消息队列系统，具备高吞吐、可扩展和容错能力。其核心设计围绕主题、分区、分段和偏移量展开，通过顺序写入磁盘和 Page Cache 提升性能，广泛应用于大数据实时处理场景。
使用 Kafka 和 Flink 构建实时数据处理系统
引言
在很多领域，如股市走向分析, 气象数据测控，网站用户行为分析等，由于数据产生快，实时性强，数据量大，所以很难统一采集并入库存储后再做处理，这便导致传统的数据处理架构不能满足需要。流计算的出现，就是为了更好地解决这类数据在处理过程中遇到的问题。
|
MQ 概念介绍 / 配置以及原理 简书
文章目录 1、什么是MQ 2、MQ的多种产品 3、MQ的工作原理 4、ActiveMQ 的配置 5、ActiveMQ 的数据存储方式 6、ActiveMQ的主从服务 7、ActiveMQ的集群负载均衡 什么是MQ？Message Queue, 就是消息队列，MQ 经常会作为多系统当中的网络消息传输。是一种应用程序对应用程序的通信方式。也是WEB服务器的一种重要的第三方软件。
Kafka ACK机制详解！
本文深入剖析了Kafka的ACK机制，涵盖其原理、源码分析及应用场景，并探讨了acks=0、acks=1和acks=all三种级别的优缺点。文中还介绍了ISR（同步副本）的工作原理及其维护机制，帮助读者理解如何在性能与可靠性之间找到最佳平衡。适合希望深入了解Kafka消息传递机制的开发者阅读。
MQ四兄弟：如何保证消息顺序性
在分布式系统中，消息队列（MQ）是确保组件间高效通信的关键。RabbitMQ、RocketMQ、Kafka和Pulsar通过不同机制保证消息顺序性：RabbitMQ依赖单一队列和消费者模式；RocketMQ使用MessageQueueSelector；Kafka基于Partition和Key；Pulsar通过分区主题和键路由。这些系统的核心思想是将相同特征的消息发送到同一队列或分区，并按先进先出原则消费，从而确保消息顺序性。
鹰角基于 Flink + Paimon + Trino 构建湖仓一体化平台实践项目
本文整理自鹰角网络大数据开发工程师朱正军在Flink Forward Asia 2024上的分享，主要涵盖四个方面：鹰角数据平台架构、数据湖选型、湖仓一体建设及未来展望。文章详细介绍了鹰角如何构建基于Paimon的数据湖，解决了Hudi入湖的痛点，并通过Trino引擎和Ranger权限管理实现高效的数据查询与管控。此外，还探讨了湖仓一体平台的落地效果及未来技术发展方向，包括Trino与Paimon的集成增强、StarRocks的应用以及Paimon全面替换Hive的计划。
|
深度解析 Kafka 中的 Offset 管理与最佳实践
Kafka 中的 Offset（偏移量）是消息处理的关键元素，对于保证消息传递的可靠性和一致性至关重要。本篇博客将深度解析 Kafka 中的 Offset 管理机制，并提供丰富的示例代码，让你更全面地理解 Offset 的原理、使用方法以及最佳实践。
免费试用