开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

用dataworks 解析 oss的orc文件写入odps正常 有告诉我这个是哪里配置问题吗?

已解决

用dataworks 解析 oss的orc文件写入odps正常 但是我用开源 datax的脚本方式去解析oss的orc文件到hdfs 读取和写入数据是异常的 数据出现乱码和空值 有大佬告诉我这个是哪里配置问题吗?

展开
收起
cuicuicuic 2023-11-20 07:50:58 42 0
2 条回答
写回答
取消 提交回答
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。
    采纳回答

    出现这种现象的原因可能有多个,以下是一些常见的原因:

    1. 字符编码问题:在 DataWorks 中可以配置字符编码,但是在 DataX 的脚本方式中则需要手动配置字符编码,否则会出现乱码和空值。
    2. Oss 版本问题:DataWorks 和 DataX 可能使用了不同版本的 OSS,这可能导致数据读取不一致。
    3. 数据类型问题:在 DataWorks 和 DataX 中,数据类型的定义也可能存在差异,导致数据不一致。
    4. 参数问题:DataWorks 和 DataX 可能使用的参数不同,也会影响数据读取和写入的结果。
    2023-11-20 14:03:00
    赞同 展开评论 打赏
  • 这个问题可能是由于DataX的配置文件中的某些设置不正确导致的。为了解决这个问题,您可以尝试以下步骤:

    1. 检查DataX的配置文件(如datax.json),确保所有必要的配置项都已正确设置,例如:

      • reader部分:确保fileType设置为orc,并正确配置pathcolumn等参数。
      • writer部分:确保fileType设置为hdfs,并正确配置pathcolumn等参数。
    2. 在配置文件中添加splitter部分,以便DataX可以正确地将数据分片。例如:

      "splitter": {
          "type": "record",
          "recordLength": 1000000,
          "recordCount": 10
      }
      
    3. 在配置文件中添加compressor部分,以便DataX可以正确地压缩数据。例如:

      "compressor": {
          "type": "gzip"
      }
      
    4. 保存配置文件并重新运行DataX任务。如果问题仍然存在,请查看DataX的日志文件以获取更多详细信息,并根据日志中的错误信息进行相应的调整。

    2023-11-20 09:46:45
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关产品

  • 大数据开发治理平台 DataWorks
  • 热门讨论

    热门文章

    相关电子书

    更多
    OSS运维进阶实战手册 立即下载
    《OSS运维基础实战手册》 立即下载
    OSS运维基础实战手册 立即下载

    相关镜像