开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

同步过程中 字符有问题漏掉数据 如何处理?

同步过程中 字符有问题漏掉数据 如何处理? 2023-03-16 13:42:26.730 [558492524-0-0-writer] ERROR StdoutPluginCollector - 脏数据: {"exception":"Incorrect string value: '\xF0\x9F\x8D\x87\xE5\xAD...' for column 'nickname' at row 1","record":[{"byteSize":20,"index":0,"rawData":"17598625634@chatroom","type":"STRING"},{"byteSize":4,"index":1,"rawData":"��学姐","type":"STRING"},{"byteSize":8,"index":2,"rawData":0,"type":"LONG"},{"byteSize":8,"index":3,"rawData":3,"type":"LONG"}],"type":"writer"}

展开
收起
滴滴滴~ 2023-03-22 09:31:45 180 0
2 条回答
写回答
取消 提交回答
  • 发表文章、提出问题、分享经验、结交志同道合的朋友

    主要是遇到字符编码问题导致数据漏掉或者脏数据的情况。可以修改数据源的字符集编码为UTF-8或者GBK等常用编码格式。

    2023-03-22 19:29:15
    赞同 展开评论 打赏
  • 应该是表里面有表情符。 此答案整理自钉群“DataWorks交流群(答疑@机器人)”

    2023-03-22 10:38:50
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关电子书

更多
低代码开发师(初级)实战教程 立即下载
冬季实战营第三期:MySQL数据库进阶实战 立即下载
阿里巴巴DevOps 最佳实践手册 立即下载