开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

他去读hdfs元数据信息的时候只读64个字段,最后导致数据集成的都是脏数据,这是啥情况呀?

datax解析以及要同步的表都是65个字段,但是他去读hdfs元数据信息的时候只读64个字段,最后导致数据集成的都是脏数据,这是啥情况呀?

展开
收起
游客6vdkhpqtie2h2 2022-10-02 09:09:13 1209 0
1 条回答
写回答
取消 提交回答
  • 第一条脏数据 在hive源端 查询出来 看下 根据这个"fieldDelimiter":"\u0001",切分键 实际是有多少列呢 (此答案整理自DataWorks交流群(答疑@机器人))

    2022-10-02 09:49:20
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

热门讨论

热门文章

相关电子书

更多
集成智能接入网关APP:优化企业级移动办公网络 立即下载
《DataWorks 数据集成实时同步》 立即下载
云效助力企业集成安全到DevOps中 立即下载