DataWorks在PostgreSQL Writer中，忽略插入主键冲突的数据？

在DataWorks的PostgreSQL Writer中，若需要忽略插入主键冲突的数据，可以通过配置writeMode参数来实现。以下是具体的配置方法和相关说明：

配置方法

1. 设置writeMode为insert
   在PostgreSQL Writer中，writeMode参数支持多种写入模式。如果希望在主键或唯一性索引冲突时忽略冲突数据，可以选择insert模式。

   • 行为描述：
     • 当没有主键/唯一性索引冲突时，数据会正常写入目标表。
     • 当发生主键/唯一性索引冲突时，冲突的数据行不会被写入目标表，并以脏数据的形式体现。

2. 脚本示例
   以下是一个PostgreSQL Writer的脚本配置示例：

   {
      "datasource": "your_datasource_name",
      "table": "your_table_name",
      "writeMode": "insert",
      "column": ["*"]
   }
   

   • 参数说明：
     • datasource：数据源名称，必须与DataWorks中已添加的数据源名称一致。
     • table：目标表名称。
     • writeMode：写入模式，设置为insert以忽略主键冲突的数据。
     • column：目标表需要写入的字段列表，使用["*"]表示写入所有列。

3. 脏数据处理
   在insert模式下，当发生主键冲突时，冲突的数据会被视为脏数据。您可以在任务配置中设置脏数据阈值，以控制允许的最大脏数据量。如果任务不允许产生脏数据，建议在任务配置 > 通道配置处调整脏数据阈值。

注意事项

• 主键冲突的定义：主键冲突是指待写入数据的主键或唯一性索引与目标表中已有数据重复的情况。
• 性能优化：如果遇到性能问题，可以尝试切换到copy模式，但需要注意copy模式不支持冲突处理策略。
• 权限要求：确保任务具备insert into的权限。如果配置了preSql或postSql，还需具备执行这些SQL语句的权限。

总结

通过将writeMode设置为insert，PostgreSQL Writer会在主键冲突时忽略冲突数据，避免覆盖已有数据。此配置适用于需要保留目标表中已有数据的场景。