# 云消息队列 Kafka 版 #
0
关注
10035内容
Maxwell 概述、安装、数据同步【一篇搞定】！
Maxwell 是一个由 Zendesk 开源的用于 MySQL 数据库实时数据捕获和同步的工具，支持多种数据库系统，以 JSON 格式输出变更数据。它实时监控数据库中的更新，将变化传递给其他系统，常用于实时数据管道、数据仓库和事件驱动架构。Maxwell 具有实时性、可配置性和高性能等特点。其工作流程包括 Binlog 解析、数据解析、重构、发布到消息队列（如 Kafka）以及事件处理。安装时需注意 JDK 版本，并配置 MySQL、Zookeeper 和 Kafka。此外，Maxwell 支持定向监听特定库表，并能进行历史和增量数据同步。
Kafka高可用性指南：提高数据一致性和集群容错能力！
**Kafka高可用性概览**
- 创建Topic时设置`--replication-factor 3`确保数据冗余和高可用。
- 分配角色：Leader处理读写，Follower同步数据，简化管理和客户端逻辑。
- ISR（In-Sync Replicas）保持与Leader同步的副本列表，确保数据一致性和可靠性。
- 设置`acks=all`保证消息被所有副本确认，防止数据丢失，增强一致性。
- 通过这些机制，Kafka实现了分布式环境中的数据可靠性、一致性及服务的高可用性。
|
【干货】看看我司消息队列用啥，全网最接地气pulsar教程(含业务解耦demo源码)
本文介绍了Apache Pulsar消息队列系统的核心特性及其与其它消息队列的区别，通过Docker安装Pulsar及Pulsar Manager，并结合电商业务场景，对比了串行执行与使用Pulsar实现异步解耦的优势，最后通过Java代码示例展示了如何利用Pulsar解决实际业务问题。
Flink SQL 实战：双流 join 场景应用
大家都知道在使用 SQL 进行数据分析的过程中，join 是经常要使用的操作。在离线场景中，join 的数据集是有边界的，可以缓存数据有边界的数据集进行查询，有Nested Loop/Hash Join/Sort Merge Join 等多表 join；而在实时场景中，join 两侧的数据都是无边界的数据流，所以缓存数据集对长时间 job 来说，存储和查询压力很大。如何从容应对各种流式场景？
Fluentd/FluentBit K8s日志采集方案介绍
Fluent Bit 是一个开源的多平台日志采集器，旨在打造日志采集处理和分发的通用利器。2014 年,Fluentd 团队预测对于嵌入式 Linux 和 Gateways 等受约束的环境，需要更轻量级的日志处理器，于是便开发了Fluent Bit，并把该项目建设成为Fluentd 生态系统的一部分。
iLogtail社区版使用入门 - 主机环境采集业务日志到SLS
本文将会详细介绍如何使用社区版iLogtail，并结合SLS云服务快速构建出一套高可用、高性能的日志采集分析系统
免费试用