【Flume中间件】(6)Flume事务

本文涉及的产品
服务治理 MSE Sentinel/OpenSergo,Agent数量 不受限
性能测试 PTS,5000VUM额度
Serverless 应用引擎免费试用套餐包,4320000 CU,有效期3个月
简介: 【Flume中间件】(6)Flume事务

Flume事务

在整个Flume采集数据的过程中,内部发生了很多的事务,在Source阶段有一个Put事务,在sink阶段有一个Take阶段,他们的任务分别是推送时间和拉取事件。

Put事务流程:

  • doPut:将批数据先写入临时缓冲区putList
  • doCommit:检查channel内存队列是否足够合并
  • doRollback:channel内存对垒事务不足进行回滚数据

Take事务:

  • doTake:将数据拉取到临时缓冲区takeList,并将数据发送到HDFS
  • doCommit:如果数据全部发送成功,则清除临时缓冲区takeList
    清除临时缓冲区takeList
  • doRollback:数据发送过程中如果出现异常,rollback将临时缓冲区takeList中的数据归还给channel内存队列


目录
相关文章
|
5月前
|
消息中间件 监控 中间件
中间件本地事务边界的特点
【7月更文挑战第19天】
51 8
|
5月前
|
中间件 数据库
中间件本地事务边界
【7月更文挑战第18天】
35 4
|
5月前
|
SQL 中间件 数据库
中间件本地事务(Local Transactions)
【7月更文挑战第16天】
53 4
|
5月前
|
消息中间件 中间件 Java
中间件本地开始事务
【7月更文挑战第17天】
25 3
|
5月前
|
中间件 数据库连接 数据库
中间件本地事务提交事务
【7月更文挑战第17天】
37 2
|
5月前
|
消息中间件 缓存 中间件
中间件本地事务执行操作
【7月更文挑战第17天】
34 2
|
7月前
|
安全 Apache
【Flume】Flume的事务机制
【4月更文挑战第4天】【Flume】Flume的事务机制
|
SQL 存储 分布式计算
Flume学习---2、Flume进阶(事务)、负载均衡、故障转移、聚合
Flume学习---2、Flume进阶(事务)、负载均衡、故障转移、聚合
|
负载均衡 中间件
【Flume中间件】(7)Flume详细传输流程
【Flume中间件】(7)Flume详细传输流程
124 8
【Flume中间件】(7)Flume详细传输流程
|
监控 负载均衡
Flume学习---2、Flume进阶(事务)、负载均衡、故障转移、聚合(二)
Flume学习---2、Flume进阶(事务)、负载均衡、故障转移、聚合(二)