AI 助理
备案控制台
开发者社区 问答 正文

datax的hdfsreader读取大的orc表行数不够

数据源是一张orc格式的hive表，是用datax从mysql导入hive的，每天分区大约有3800万行；现在通过hdfsreader和mysqlwriter从hive导回mysql，只能读出8065000行，少了3000万行，是有什么限制吗?

展开
收起
winner.lzw 2018-05-07 17:50:18 5319 分享 版权

版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

3 条回答
写回答
取消 提交回答
  • 游客c6dmzbfrogd7o

    是orc格式的限制，把orc文件拆分多个就行

    2021-02-20 19:43:00
    赞同 1 展开评论
  • 夏舟
    略

    看下datax运行日志，是否有报错信息，是否同步中断了，是否有脏数据导致被跳过了等等，分析下缺的3000万行有说明特点

    2019-07-17 22:08:01
    赞同 展开评论
  • 31784975

    看看运行日志，是否有脏数据报错

    2019-07-17 22:08:01
    赞同 展开评论
问答分类：
SQL 关系型数据库 MySQL DataX HIVE 云数据库 RDS MySQL 版 数据集成 Data Integration
问答标签：
数据集成 Data Integration表 数据集成 Data Integration orc 数据集成 Data Integration hdfsreader 数据集成 Data Integration hdfsreader orc
问答地址：
开发者社区 > 数据库 > 问答
相关问答
dataworks离线数据集成，往MC表同步数据时，支持根据某字段更新写入吗？
93
1
0
DataWorks数据集成a表之后在maxcompute选择关联表，有什么区别？
128
3
0
dataworks数据集成 msyql到maxcompute，目标表建立失败怎么办？
94
1
0
DataWorks数据集成那边的表怎么关联在业务流程这？
78
1
0
DataWorks数据集成页面同步的表可以放在这边业务流程中吗？
118
12
0
大数据计算MaxCompute的dataX离线同步，针对业务表太大的情况，内部会分页循环嘛？
112
1
0
DataWorks中dataX离线同步，内部会分页循环嘛，针对业务表太大的情况，内部有优化机制嘛？
164
1
0
holo 表数据到大数据计算MaxCompute表，可以参考哪个文档？不使用数据集成。
78
1
0
DataWorks中holo 表数据到maxcompute 表，可以参考哪个文档。不使用数据集成？
89
2
0
DataWorks这些一个个表的周期同步任务可以放在数据开发页面下的数据集成的对应文件夹下吗？
87
1
0