Kafka

首页 标签 Kafka
# Kafka #
关注
9968内容
|
9月前
|
被问到MQ消息已丢失,该如何处理?
在分布式系统中,消息中间件(如RabbitMQ、Kafka等)用于解耦生产者和消费者,确保数据传输的可靠性和顺序性。尽管有多种措施防止消息丢失,如消息持久化、手动确认机制和重试机制,但消息丢失仍可能发生。本文探讨了四种常见丢失场景及补救措施:1. 生产者发送消息失败;2. 消息在传输过程中丢失;3. 消息中间件内部丢失;4. 消费者未处理完消息前丢失。针对每种场景,提出了相应的解决方案,如消息重发、本地存储、日志记录、高可用配置、死信队列等,以确保系统的可靠性和稳定性。
|
9月前
|
2024消息队列“四大天王”:Rabbit、Rocket、Kafka、Pulsar巅峰对决
本文对比了 RabbitMQ、RocketMQ、Kafka 和 Pulsar 四种消息队列系统,涵盖架构、性能、可用性和适用场景。RabbitMQ 以灵活路由和可靠性著称;RocketMQ 支持高可用和顺序消息;Kafka 专为高吞吐量和低延迟设计;Pulsar 提供多租户支持和高可扩展性。性能方面,吞吐量从高到低依次为
流存储Fluss:迈向湖流一体架构
本文整理自阿里云高级开发工程师罗宇侠在Flink Forward Asia 2024上海站的分享,介绍了湖流割裂的现状与挑战,Fluss湖流一体架构的设计与优势,以及未来规划。内容涵盖湖流割裂的现状、Fluss架构详解、湖流一体带来的收益,以及未来的生态扩展和技术优化。
|
9月前
|
go高并发之路——消息中间件kafka
本文介绍了高并发业务中的流量高峰应对措施,重点讲解了Kafka消息中间件的使用,包括常用的Go语言库sarama及其版本问题,以及Kafka的版本选择建议。文中还详细解释了Kafka生产者的四种分区策略:轮询、随机、按Key和指定分区,并提供了相应的代码示例。
|
10月前
| |
来自: 数据库
某全球领先网络解决方案提供商:统一 Trino、Pinot、Iceberg 及 Kyuubi,探索 Apache Doris 的改造实践
某全球领先网络解决方案提供商早期架构面临架构复杂、数据冗余存储、运维困难、资源利用率低、数据时效性差等问题。因此,引入 Apache Doris 替换了 Trino、Pinot 、 Iceberg 及 Kyuubi 技术栈,依赖于 Doris 的实时数据湖能力及高性能 OLAP 分析能力,统一数据湖仓及查询分析引擎,显著提升了查询性能及系统稳定性,同时实现资源成本降低 30%。
|
10月前
| |
来自: 数据库
使用kafka consumer加载数据加载异常并且报source table and destination table are not same错误解决办法
使用kafka consumer加载数据加载异常并且报source table and destination table are not same错误解决办法
|
10月前
|
C# 一分钟浅谈:GraphQL 中的订阅与发布
本文介绍了 GraphQL 订阅与发布机制,重点从 C# 角度探讨其实现方法,包括基本概念、代码示例、常见问题及解决方案,旨在帮助开发者高效利用 GraphQL 实现实时数据更新。
免费试用