同步过程中 字符有问题漏掉数据 如何处理?

同步过程中 字符有问题漏掉数据 如何处理? 2023-03-16 13:42:26.730 [558492524-0-0-writer] ERROR StdoutPluginCollector - 脏数据: {"exception":"Incorrect string value: '\xF0\x9F\x8D\x87\xE5\xAD...' for column 'nickname' at row 1","record":[{"byteSize":20,"index":0,"rawData":"17598625634@chatroom","type":"STRING"},{"byteSize":4,"index":1,"rawData":"��学姐","type":"STRING"},{"byteSize":8,"index":2,"rawData":0,"type":"LONG"},{"byteSize":8,"index":3,"rawData":3,"type":"LONG"}],"type":"writer"}

展开
收起
滴滴滴~ 2023-03-22 09:31:45 210 分享 版权
2 条回答
写回答
取消 提交回答
  • 发表文章、提出问题、分享经验、结交志同道合的朋友

    主要是遇到字符编码问题导致数据漏掉或者脏数据的情况。可以修改数据源的字符集编码为UTF-8或者GBK等常用编码格式。

    2023-03-22 19:29:15
    赞同 展开评论
  • 应该是表里面有表情符。 此答案整理自钉群“DataWorks交流群(答疑@机器人)”

    2023-03-22 10:38:50
    赞同 展开评论

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

收录在圈子:
+ 订阅
还有其他疑问?
咨询AI助理