阿里云E-MapReduce我用flume工具同步数据到oss,切分出来的文件毫无规律是什么原因?

阿里云E-MapReduce我用flume工具同步数据到oss,安装好了Hadoop环境,然后用jindodata,配置里的rollSize,rollInterval,rollCount设置不生效,切分出来的文件毫无规律是什么原因?

展开
收起
真的很搞笑 2023-10-30 18:06:22 122 发布于黑龙江 分享
分享
版权
举报
2 条回答
写回答
取消 提交回答
  • 对于Flume同步数据到OSS,使用JindoData进行数据切分的问题,可能有以下几种原因:

    1. RollingPolicy配置问题:RollingPolicy的配置可能不正确,导致数据无法按照预期的规则进行切分。你需要检查RollingPolicy的配置,确保RollSize、RollInterval和RollCount的值都设置正确。

    2. Flume Channel容量问题:Flume Channel的容量可能不足以存储所有的数据,导致数据无法被完整地写入Channel,从而影响了RollingPolicy的工作。你需要检查Flume Channel的配置,确保其容量足够大。

    3. JindoData版本问题:JindoData的版本可能与你的Flume和其他组件的版本不兼容,导致RollingPolicy无法正常工作。你需要检查JindoData的版本,确保其与其他组件的版本兼容。

    4. 其他问题:可能还存在其他问题,如网络问题、权限问题等,导致数据无法被正确地写入OSS。你需要检查系统的日志,找出可能的问题。

    建议你先检查RollingPolicy的配置,然后检查Flume Channel的容量,最后检查JindoData的版本。如果这些都检查过了,但仍然存在问题,那么可能需要进一步检查和调试。

    2023-10-31 15:01:04 举报
    赞同 评论

    评论

    全部评论 (0)

    登录后可评论
  • 这个和 jindodata 应该关系不大。rollSize,rollInterval,rollCount这些设置是flume层面决定的,不会不生效。,此回答整理自钉群“JindoData 用户交流群”

    2023-10-30 22:51:53 举报
    赞同 评论

    评论

    全部评论 (0)

    登录后可评论

阿里云EMR是云原生开源大数据平台,为客户提供简单易集成的Hadoop、Hive、Spark、Flink、Presto、ClickHouse、StarRocks、Delta、Hudi等开源大数据计算和存储引擎,计算资源可以根据业务的需要调整。EMR可以部署在阿里云公有云的ECS和ACK平台。

还有其他疑问?
咨询AI助理
AI助理

你好,我是AI助理

可以解答问题、推荐解决方案等