开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

他去读hdfs元数据信息的时候只读64个字段,最后导致数据集成的都是脏数据,这是啥情况呀?

datax解析以及要同步的表都是65个字段,但是他去读hdfs元数据信息的时候只读64个字段,最后导致数据集成的都是脏数据,这是啥情况呀?

展开
收起
游客6vdkhpqtie2h2 2022-10-02 09:09:13 1206 0
1 条回答
写回答
取消 提交回答
  • 第一条脏数据 在hive源端 查询出来 看下 根据这个"fieldDelimiter":"\u0001",切分键 实际是有多少列呢 (此答案整理自DataWorks交流群(答疑@机器人))

    2022-10-02 09:49:20
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关电子书

更多
海量数据分布式存储——Apache HDFS之最新进展 立即下载
DataWorks数据集成实时同步最佳实践(含内测邀请)-2020飞天大数据平台实战应用第一季 立即下载
《DataWorks 数据集成实时同步》 立即下载

相关实验场景

更多