开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

DataWorks这种报错是啥原因 源表和目标表是同构的?

DataWorks这种报错是啥原因 源表和目标表是同构的? ... 8 more
2023-11-02 16:13:25.863 [72432510-0-1-writer] ERROR StdoutPluginCollector -
java.sql.SQLException: Incorrect string value: '\xF0\x9F\xA6\x9B' for column 'goods_specifications' at row 1
aimage.png

展开
收起
真的很搞笑 2023-11-07 17:52:42 48 0
3 条回答
写回答
取消 提交回答
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    我怀疑您的源表中有特殊字符,可能是因为字符编码不一致导致的问题。通常情况下,“\xF0\xA6\x9B”这样的编码表示不可见字符或其他特殊字符。
    建议您可以检查源表和目标表的字符编码设置,确保它们具有相同的字符集。如果有字符编码方面的差异,可能会导致此错误发生。
    此外,您还可以试着将源表和目标表转储到本地并重新加载它们,以确保两者具有相同的内容和字符集。

    2023-11-08 14:22:53
    赞同 展开评论 打赏
  • 表情符,报错现象: 如果数据中包括表情符,在同步过程中可能会报错脏数据:[13350975-0-0-writer] ERROR StdoutPluginCollector - 脏数据 {"exception":"Incorrect string value: '\xF0\x9F\x98\x82\xE8\xA2...' for column 'introduction' at row 1","record":[{"byteSize":8,"index":0,"rawData":9642,"type":"LONG"},}],"type":"writer"} 。可能原因:数据库相关编码未设置为utf8mb4,导致同步表情符报错。源端的数据本身就是乱码。数据库和客户端的编码不一样。浏览器编码不一样,导致预览失败或乱码。解决方案: 针对产生乱码的不同原因,选择相应的解决方法:如果您的原始数据乱码,需首先处理好原始数据,再进行同步任务。数据库和客户端编码格式不一致,需先修改编码格式。浏览器编码和数据库或客户端编码格式不一致,需先统一编码格式,然后进行数据预览。您可以尝试以下操作:JDBC格式添加的数据源修改utf8mb4:jdbc:mysql://xxx.x.x.x:3306/database?com.mysql.jdbc.faultInjection.serverCharsetIndex=45。
    实例ID形式添加数据源:在数据库名后拼接,格式为database?com.mysql.jdbc.faultInjection.serverCharsetIndex=45。修改数据库相关的编码格式为utf8mb4。例如,在RDS控制台修改RDS的数据库编码格式。说明 设置RDS数据源编码格式命令:set names utf8mb4。查看RDS数据库编码格式命令:
    show variables like 'char%'。
    https://help.aliyun.com/document_detail/146663.html
    ,此回答整理自钉群“DataWorks交流群(答疑@机器人)”

    2023-11-07 22:26:55
    赞同 展开评论 打赏
  • 出现错误的原因是源表中的某些字符值与目标表中的字符集不兼容,这可能导致数据同步出错。具体而言,错误发生在源表中的 'goods_specifications' 字段处,其值为 "\xF0\x9F\xA6\x9B"。
    这可能是由于源表与目标表之间的字符集不匹配所致。为了纠正这个问题,请尝试以下方法:

    1. 查看源表与目标表的字符集设置,确保两者都设置为相同字符集。
    2. 对于不符合目标字符集要求的数据,可以在源端进行过滤或转码处理。
    3. 修改 DataWorks 中同步任务的字符集设置,确保与源表和目标表的字符集一致。
    2023-11-07 22:24:01
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关产品

  • 大数据开发治理平台 DataWorks
  • 相关电子书

    更多
    DataWorks调度任务迁移最佳实践-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks商业化资源组省钱秘籍-2020飞天大数据平台实战应用第一季 立即下载
    基于DataWorks数据服务构建疫情大屏-2020飞天大数据平台实战应用第一季 立即下载

    相关实验场景

    更多