开发者社区 > 大数据与机器学习 > 开源大数据平台 E-MapReduce > 正文

阿里云E-MapReduce我用flume工具同步数据到oss,切分出来的文件毫无规律是什么原因?

阿里云E-MapReduce我用flume工具同步数据到oss,安装好了Hadoop环境,然后用jindodata,配置里的rollSize,rollInterval,rollCount设置不生效,切分出来的文件毫无规律是什么原因?

展开
收起
cuicuicuic 2023-10-30 18:06:22 58 0
2 条回答
写回答
取消 提交回答
  • 对于Flume同步数据到OSS,使用JindoData进行数据切分的问题,可能有以下几种原因:

    1. RollingPolicy配置问题:RollingPolicy的配置可能不正确,导致数据无法按照预期的规则进行切分。你需要检查RollingPolicy的配置,确保RollSize、RollInterval和RollCount的值都设置正确。

    2. Flume Channel容量问题:Flume Channel的容量可能不足以存储所有的数据,导致数据无法被完整地写入Channel,从而影响了RollingPolicy的工作。你需要检查Flume Channel的配置,确保其容量足够大。

    3. JindoData版本问题:JindoData的版本可能与你的Flume和其他组件的版本不兼容,导致RollingPolicy无法正常工作。你需要检查JindoData的版本,确保其与其他组件的版本兼容。

    4. 其他问题:可能还存在其他问题,如网络问题、权限问题等,导致数据无法被正确地写入OSS。你需要检查系统的日志,找出可能的问题。

    建议你先检查RollingPolicy的配置,然后检查Flume Channel的容量,最后检查JindoData的版本。如果这些都检查过了,但仍然存在问题,那么可能需要进一步检查和调试。

    2023-10-31 15:01:04
    赞同 展开评论 打赏
  • 这个和 jindodata 应该关系不大。rollSize,rollInterval,rollCount这些设置是flume层面决定的,不会不生效。,此回答整理自钉群“JindoData 用户交流群”

    2023-10-30 22:51:53
    赞同 展开评论 打赏

阿里云EMR是云原生开源大数据平台,为客户提供简单易集成的Hadoop、Hive、Spark、Flink、Presto、ClickHouse、StarRocks、Delta、Hudi等开源大数据计算和存储引擎,计算资源可以根据业务的需要调整。EMR可以部署在阿里云公有云的ECS和ACK平台。

相关产品

  • 开源大数据平台 E-MapReduce
  • 相关电子书

    更多
    OSS运维进阶实战手册 立即下载
    《OSS运维基础实战手册》 立即下载
    OSS运维基础实战手册 立即下载