DataWorks Incorrect string value: '\xF0\x9F\x87\？

问题分析

报错信息 Incorrect string value: '\xF0\x9F\x87\xAB\xF0\x9F...' for column 'receiver_state' at row 1 表明在向 MySQL 数据库的 receiver_state 字段插入数据时，遇到了字符集不兼容的问题。这通常是由于字段中存储了超出当前字符集范围的特殊字符（如表情符号或四字节字符），而表的字符集仅支持三字节的 UTF-8 编码（即 utf8）。

解决方案

1. 修改字段编码为 utf8mb4

MySQL 的 utf8 字符集仅支持三字节字符，而表情符号等特殊字符需要四字节编码（utf8mb4）。因此，建议将字段的字符集修改为 utf8mb4。

执行以下 SQL 语句修改字段编码：

ALTER TABLE `表名` 
MODIFY COLUMN `receiver_state` VARCHAR(255) 
CHARACTER SET utf8mb4 
COLLATE utf8mb4_general_ci 
NULL COMMENT '注释';

注意： - 替换 表名 和 receiver_state 为实际的表名和字段名。 - 如果字段有索引或其他约束，请确保修改后不会影响现有逻辑。

此操作会将字段的字符集升级为支持四字节字符的 utf8mb4，从而解决插入特殊字符时的报错问题。

2. 配置 JDBC 连接参数

在 DataWorks 中配置 MySQL 数据源的 JDBC 连接 URL 时，添加以下参数以确保连接使用正确的字符集：

?autoReconnect=true&characterEncoding=utf-8

完整示例：

jdbc:mysql://<数据库地址>:<端口>/<数据库名>?autoReconnect=true&characterEncoding=utf-8

说明： - autoReconnect=true 确保连接断开时自动重连。 - characterEncoding=utf-8 指定连接使用 UTF-8 编码。

此配置可以避免因连接字符集不匹配导致的插入失败问题。

3. 检查数据源与目标表的字符集一致性

如果问题仍然存在，可能是因为数据源和目标表的字符集不一致。请按照以下步骤检查并调整：

1. 确认目标表的字符集： 执行以下 SQL 查询目标表的字符集：

   SHOW FULL COLUMNS FROM `表名`;
   

   确保 receiver_state 字段的字符集为 utf8mb4。

2. 确认数据库默认字符集： 执行以下 SQL 查询数据库的默认字符集：

   SHOW VARIABLES LIKE 'character_set%';
   

   如果数据库默认字符集为 utf8，建议将其修改为 utf8mb4。

3. 调整数据源字符集： 在 DataWorks 的数据同步任务中，确保 Reader 和 Writer 的 encoding 参数均设置为 UTF-8 或 utf8mb4。例如：

   "encoding": "UTF-8"
   

4. 数据清洗与预处理

如果无法修改表结构或连接参数，可以在数据写入前对数据进行清洗，移除或替换特殊字符。例如，使用正则表达式过滤掉四字节字符：

UPDATE `表名` 
SET `receiver_state` = REGEXP_REPLACE(`receiver_state`, '[^\x00-\x7F]+', '') 
WHERE `receiver_state` LIKE '%\xF0%';

注意： - 此方法会丢失特殊字符，适用于对数据完整性要求较低的场景。

总结

通过上述方法，您可以有效解决 Incorrect string value 报错问题。推荐优先采用 修改字段编码为 utf8mb4 和 配置 JDBC 连接参数 的方式，以确保系统能够正确处理特殊字符。