AI 助理
备案控制台
开发者社区 问答 正文

E-MapReduce如何使用Flume进行数据迁移

已解决

E-MapReduce如何使用Flume进行数据迁移

展开
收起
阿里云服务支持 2022-12-19 10:46:05 288 分享 版权
来自： 阿里云支持与服务

版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

1 条回答
写回答
取消 提交回答
  • 阿里云服务支持
    官方回答

    需要在新集群上也开启flume服务，并且将数据按照和老集群完全一致的规则写入到新集群中。Flume分区表写入 Flume数据双写，双写时需控制开始的时机，要保证flume在开始一个新的时间分区的时候来进行新集群的同步。如flume每小时整点会同步所有的表，那就要整点之前，开启flume同步服务，这样flume在一个新的小时内写入的数据，在旧集群和新集群上是完全一致的。而不完整的旧数据在distcp的时候，全量的同步会覆盖它。而开启双写时间点后的新数据，在数据同步的时候不进行同步。 这个新的写入的数据，在划分数据阶段不要放到数据同步的目录里。 详情请参见：E-MapReduce数据迁移方案。

    2022-12-19 10:58:47
    赞同 展开评论
问答标签：
mapreduce Flume e-mapreduce Flume mapreduce数据迁移 开源大数据平台 E-MapReduce flume
问答地址：
开发者社区 > 阿里云支持与服务 > 问答
相关问答
E-MapReduce如何新增flume
39
1
0
E-MapReduce ON ECS集群是否支持跨账号进行数据迁移
40
0
0
阿里云E-MapReduce我用flume工具同步数据到oss，切分出来的文件毫无规律是什么原因？
152
2
0
E-MapReduce中flume之间网络连接正常怎么判断？102是第一层flume，103是第二层
68
1
0
E-MapReduce中两层flume采集数据，第一层采集后将数据传输给第二层flume，最后写入？
135
1
0
如何实现Flume数据传输的监控？
388
1
0
Flume中监控目录下的多个追加文件的需求是什么呢？
325
1
0
Flume中监控目录下的多个追加文件的实现流程是什么呢？
294
1
0
Flume中监控目录下多个新文件的实现流程是什么呢？
356
1
0
Flume中监控目录下多个新文件的需求是什么呢？
335
1
0