kafka 三种消费语义

本文涉及的产品
日志服务 SLS,月写入数据量 50GB 1个月
简介: 消费语义at most once:最多消费一次,消息可能会丢失-------log日志at least once:至少消费一次,但是会重复消费 例如手动异步提交offsetexactly once:正好一次,不丢失,不重复 0.10.0.1不支持,官方说0.11已支持 例子1.log日志允许丢失 使用第一种2.log日志算钱的不允许丢,使用第二种+去重+redis部分公司去重方法,对每一条日志取一个hash值,存放到redis里面,如果redis里面有了,就不放到下游去处理3.mysql sql语句入库 选择第二种并使用hbase的put保证去重复。

消费语义
at most once:最多消费一次,消息可能会丢失-------log日志
at least once:至少消费一次,但是会重复消费 例如手动异步提交offset
exactly once:正好一次,不丢失,不重复

                0.10.0.1不支持,官方说0.11已支持

例子
1.log日志允许丢失 使用第一种
2.log日志算钱的不允许丢,使用第二种+去重+redis
部分公司去重方法,对每一条日志取一个hash值,存放到redis里面,如果redis里面有了,就不放到下游去处理
3.mysql sql语句入库 选择第二种并使用hbase的put保证去重复。
insert into。。。1;
insert into。。。2;
insert into。。。3;

相关文章
|
7月前
|
消息中间件 Kafka API
Kafka Exactly Once 语义实现原理:幂等性与事务消息
Apache Kafka的Exactly-Once语义确保了消息处理的准确性和一致性。通过幂等性和事务消息,Kafka实现了要么全处理要么全不处理的原子性。文章详细解析了Kafka事务的工作流程,包括生产者的幂等性(通过序列号保证),以及事务消息的提交和回滚过程。Kafka事务提供了ACID保证,但存在性能限制,如额外的RPC请求和单生产者只能执行一个事务。此外,事务适用于同集群内的操作,跨集群时原子性无法保证。了解这些原理有助于开发者更好地利用Kafka事务构建可靠的数据处理系统。
192 3
 Kafka Exactly Once 语义实现原理:幂等性与事务消息
|
消息中间件 JSON NoSQL
记一次Flink 消费Kafka数据积压排查解决
记一次Flink 消费Kafka数据积压排查解决
记一次Flink 消费Kafka数据积压排查解决
|
消息中间件 NoSQL Kafka
【Flink-FlinkUtils】高级自定义封装工具类实现消费kafka数据保存数据到Redis
【Flink-FlinkUtils】高级自定义封装工具类实现消费kafka数据保存数据到Redis
364 0
【Flink-FlinkUtils】高级自定义封装工具类实现消费kafka数据保存数据到Redis
|
消息中间件 弹性计算 Java
【采坑-Flink消费kafka中的数据】阿里云ECS/VMware之zookeeper和kafka单机/集群环境
【采坑-Flink消费kafka中的数据】阿里云ECS/VMware之zookeeper和kafka单机/集群环境
301 0
【采坑-Flink消费kafka中的数据】阿里云ECS/VMware之zookeeper和kafka单机/集群环境
|
消息中间件 存储 运维
Kafka消费组/者协调器的介绍
什么是协调器 协调器是用于协调多个消费者之间能够正确的工作的一个角色, 比如计算消费的分区分配策略,又或者消费者的加入组与离开组的处理逻辑, 有一点类似Kafka种的控制器的角色。
Kafka消费组/者协调器的介绍
|
消息中间件 缓存 Kafka
Kafka 怎么顺序消费?面试必备。。。
Kafka 怎么顺序消费?面试必备。。。
284 1
|
消息中间件 分布式计算 监控
面对Kafka消费不给力,如何轻松解决呢?
随着目前业务复杂度的增加,项目中经常需要有大量的跨系统异步任务需要处理。
面对Kafka消费不给力,如何轻松解决呢?
|
消息中间件 存储 缓存
Kafka/Spark/Flink Exactly-once语义调研
Kafka/Spark/Flink Exactly-once语义调研
299 0
|
消息中间件 存储 数据采集
Streaming 消费 kafka 数据的两种方式|学习笔记
快速学习 Streaming 消费 kafka 数据的两种方式
|
消息中间件 Java Kafka
Flink消费kafka消息实战
本次实战的内容是开发Flink应用,消费来自kafka的消息,进行实时计算
1163 0
Flink消费kafka消息实战

热门文章

最新文章