【Flume中间件】(6)Flume事务

本文涉及的产品
任务调度 XXL-JOB 版免费试用,400 元额度,开发版规格
服务治理 MSE Sentinel/OpenSergo,Agent数量 不受限
性能测试 PTS,5000VUM额度
简介: 【Flume中间件】(6)Flume事务

Flume事务

在整个Flume采集数据的过程中,内部发生了很多的事务,在Source阶段有一个Put事务,在sink阶段有一个Take阶段,他们的任务分别是推送时间和拉取事件。

Put事务流程:

  • doPut:将批数据先写入临时缓冲区putList
  • doCommit:检查channel内存队列是否足够合并
  • doRollback:channel内存对垒事务不足进行回滚数据

Take事务:

  • doTake:将数据拉取到临时缓冲区takeList,并将数据发送到HDFS
  • doCommit:如果数据全部发送成功,则清除临时缓冲区takeList
    清除临时缓冲区takeList
  • doRollback:数据发送过程中如果出现异常,rollback将临时缓冲区takeList中的数据归还给channel内存队列


目录
打赏
0
7
8
24
20
分享
相关文章
中间件本地事务边界
【7月更文挑战第18天】
45 4
中间件本地开始事务
【7月更文挑战第17天】
37 3
【Flume】Flume的事务机制
【4月更文挑战第4天】【Flume】Flume的事务机制
【Flume中间件】(7)Flume详细传输流程
【Flume中间件】(7)Flume详细传输流程
134 9
【Flume中间件】(7)Flume详细传输流程
Flume学习---2、Flume进阶(事务)、负载均衡、故障转移、聚合(二)
Flume学习---2、Flume进阶(事务)、负载均衡、故障转移、聚合(二)