开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

DataWorks离线同步的时候,如果odps表中无对应分区数据就会报上面的错误,请问有什么参数设?

DataWorks离线同步的时候,如果odps表中无对应分区数据就会报上面的错误,请问有什么参数设置可以实现无数据就直接忽略吗?2023-06-12 16:54:49.489 [job-30593] ERROR Engine - Through the intelligent analysis by DataX, the most likely error reason of this task is: com.alibaba.datax.common.exception.DataXException: Code:DATAX_R_ODPS_018:分区不存在, Solution:[请修改配置的分区值]. - 分区配置错误,根据您所配置的分区没有匹配到源头表中的分区. 源头表所有分区是:[source='cc',pt='20230609',type='onShelfprogramopera' image.png 数据同步报错

展开
收起
真的很搞笑 2023-06-17 13:56:46 253 0
1 条回答
写回答
取消 提交回答
  • 1.同步emoji报错脏数据需要修改编码格式: 1.1 jdbc形式添加数据源:

    例如:jdbc:mysql://xxx.x.x.x:3306/database?&com.mysql.jdbc.faultInjection.serverCharsetIndex=45,

    1.2
    在数据库名后拼接:数据库名?com.mysql.jdbc.faultInjection.serverCharsetIndex=45

    同步数据乱码 可能原因:
    源端的数据本身就是乱码。

    数据库和客户端的编码不一样。

    浏览器编码不一样,导致预览失败或乱码。

    针对产生乱码的不同原因,选择相应的解决方法:

    如果您的原始数据乱码,需首先处理好原始数据,再进行同步任务。

    数据库和客户端编码格式不一致,需先修改编码格式。

    浏览器编码和数据库或客户端编码格式不一致,需先统一编码格式,然后进行数据预览。 参考看下百问百答第30篇 https://developer.aliyun.com/article/748252?spm=a2c6h.12873581.0.dArticle748252.1ec43740LqNDlu&groupCode=dataworks,此回答整理自钉群“DataWorks交流群(答疑@机器人)”

    2023-07-13 16:27:09
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关产品

  • 大数据开发治理平台 DataWorks
  • 相关电子书

    更多
    DataWorks数据集成实时同步最佳实践(含内测邀请)-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks调度任务迁移最佳实践-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks商业化资源组省钱秘籍-2020飞天大数据平台实战应用第一季 立即下载

    相关实验场景

    更多