【Flume中间件】(6)Flume事务

本文涉及的产品
服务治理 MSE Sentinel/OpenSergo,Agent数量 不受限
简介: 【Flume中间件】(6)Flume事务

Flume事务

在整个Flume采集数据的过程中,内部发生了很多的事务,在Source阶段有一个Put事务,在sink阶段有一个Take阶段,他们的任务分别是推送时间和拉取事件。

Put事务流程:

  • doPut:将批数据先写入临时缓冲区putList
  • doCommit:检查channel内存队列是否足够合并
  • doRollback:channel内存对垒事务不足进行回滚数据

Take事务:

  • doTake:将数据拉取到临时缓冲区takeList,并将数据发送到HDFS
  • doCommit:如果数据全部发送成功,则清除临时缓冲区takeList
    清除临时缓冲区takeList
  • doRollback:数据发送过程中如果出现异常,rollback将临时缓冲区takeList中的数据归还给channel内存队列


目录
相关文章
|
6天前
|
安全 Apache
【Flume】Flume的事务机制
【4月更文挑战第4天】【Flume】Flume的事务机制
|
9月前
|
监控 负载均衡
Flume学习---2、Flume进阶(事务)、负载均衡、故障转移、聚合(二)
Flume学习---2、Flume进阶(事务)、负载均衡、故障转移、聚合(二)
|
9月前
|
SQL 存储 分布式计算
Flume学习---2、Flume进阶(事务)、负载均衡、故障转移、聚合(一)
Flume学习---2、Flume进阶(事务)、负载均衡、故障转移、聚合(一)
|
9月前
|
SQL 存储 分布式计算
Flume学习---2、Flume进阶(事务)、负载均衡、故障转移、聚合
Flume学习---2、Flume进阶(事务)、负载均衡、故障转移、聚合
|
中间件
【Flume中间件】(14)自定义Sink
【Flume中间件】(14)自定义Sink
74 1
|
中间件 Java 数据库连接
【Flume中间件】(13)自定义Source
【Flume中间件】(13)自定义Source
120 0
|
中间件
【Flume中间件】(12)自定义拦截器
【Flume中间件】(12)自定义拦截器
76 0
|
监控 中间件
【Flume中间件】(11)聚合组
【Flume中间件】(11)聚合组
54 0
|
负载均衡 中间件 大数据
【Flume中间件】(10)sink组负载均衡
【Flume中间件】(10)sink组负载均衡
107 0
|
中间件
【Flume中间件】(9)sink组故障转移
【Flume中间件】(9)sink组故障转移
89 1