DataWorks离线同步进行编码格式设置或处理乱码问题
已解决DataWorks离线同步进行编码格式设置或处理乱码问题 如果数据中包括表情符，在同步过程中可能会报错脏数据：[13350975-0-0-writer] ERROR StdoutPluginCollector - 脏数据 {"exception":"Incorrect string value: '\xF0\x9F\x98\x82\xE8\xA2...' for column 'introduction' at row 1","record":[{"byteSize":8,"index":0,"rawData":9642,"type":"LONG"},}],"type":"writer"} 。
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
-
推荐回答官方回答
针对产生乱码的不同原因，选择相应的解决方法：
● 如果原始数据乱码，需首先处理好原始数据，再进行同步任务。
● 数据库和客户端编码格式不一致，需先修改编码格式。
● 浏览器编码和数据库或客户端编码格式不一致，需先统一编码格式，然后进行数据预览。
可以尝试以下操作：
● JDBC格式添加的数据源修改utf8mb4：jdbc:mysql://xxx.x.x.x:3306/database?com.mysql.jdbc.faultInjection.serverCharsetIndex=45
● 实例ID形式添加数据源：在数据库名后拼接，格式为：database?com.mysql.jdbc.faultInjection.serverCharsetIndex=45
● 修改数据库相关的编码格式为utf8mb4。例如，在RDS控制台修改RDS的数据库编码格式。（设置RDS数据源编码格式命令：set names utf8mb4。查看RDS数据库编码格式命令：show variables like 'char%'。）
2022-12-09 10:32:12赞同 展开评论
DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎，为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。
