DataWorks怎么配置mongodb同步任务？

在阿里云DataWorks中配置MongoDB同步任务，需要按照以下步骤进行操作。以下是详细的配置流程和注意事项：

1. 创建MongoDB数据源

在进行数据同步之前，首先需要在DataWorks中创建MongoDB数据源。

操作步骤：

1. 登录DataWorks控制台。
2. 在左侧导航栏中，单击数据集成 > 数据源管理。
3. 单击新增数据源，选择MongoDB。
4. 配置MongoDB数据源参数：
   • 数据源名称：自定义名称。
   • 数据库类型：选择MongoDB。
   • 连接信息：
     • 如果是云数据库MongoDB版，默认使用root账号，但出于安全策略考虑，避免使用root作为访问账号。
     • 如果是分片集群，需配置mongos地址，避免配置mongod/shard节点地址，否则可能导致只查询到部分shard的数据。
   • 网络类型：支持阿里云内网访问，不支持公网访问。
5. 测试连接成功后，保存数据源。

2. 创建离线同步任务

完成数据源创建后，需要配置离线同步任务以实现MongoDB数据的读取或写入。

操作步骤：

1. 创建业务流程：
   • 在DataWorks控制台中，进入数据开发页面。
   • 单击新建业务流程，输入业务名称和描述。
2. 创建离线同步节点：
   • 展开业务流程，右键单击数据集成，选择新建节点 > 离线同步。
   • 输入节点名称并提交。
3. 配置读写端：
   • 单击工具栏中的转换脚本图标，进入脚本模式。
   • 配置读取端（MongoDB Reader）和写入端（目标数据源）的参数。

3. 配置MongoDB Reader

MongoDB Reader用于从MongoDB中抽取数据，支持全量和增量同步。

关键参数配置：

• datasource：指定已创建的MongoDB数据源名称。
• collectionName：指定要同步的集合名称。
• query：可选参数，用于过滤数据。例如，结合调度参数实现增量同步。
  • 示例：{"createTime": {"$gte": "${bizdate}"}}
• column：指定需要同步的字段及其类型。
  • 示例：

  {
    "name": "unique_id",
    "type": "string"
  },
  {
    "name": "a.b.c",
    "type": "document"
  }
  

  注意：对于嵌套字段，可通过a.b.c的方式递归解析。

• useSplitVector：默认使用splitVector命令进行任务分片。如果MongoDB版本不支持该命令，需设置为false。

示例脚本：

{
  "type": "job",
  "version": "2.0",
  "steps": [
    {
      "stepType": "mongodb",
      "parameter": {
        "datasource": "test_mongo",
        "collectionName": "tag_data",
        "query": "{\"createTime\": {\"$gte\": \"${bizdate}\"}}",
        "column": [
          {
            "name": "unique_id",
            "type": "string"
          },
          {
            "name": "sid",
            "type": "string"
          }
        ]
      }
    }
  ]
}

4. 配置目标数据源（Writer）

根据目标数据源类型（如MaxCompute、Lindorm等），配置写入端参数。

示例：写入MaxCompute

• datasource：指定目标数据源名称。
• table：指定目标表名称。
• writeMode：写入模式（如insert或replace）。
• column：与MongoDB Reader字段映射的目标字段。

5. 调度参数配置（增量同步）

如果需要实现增量同步，可以通过调度参数动态替换时间范围。

操作步骤：

1. 在query参数中使用调度参数（如${bizdate}）。
   • 示例：{"createTime": {"$gte": "${bizdate}"}}
2. 配置调度参数表达式：
   • $bizdate表示业务日期，格式为yyyyMMdd。
   • 定时任务执行时，${bizdate}会被替换为实际的业务日期。

6. 常见问题及解决方法

• 报错：no such cmd splitVector
  解决方法：在MongoDB Reader参数中添加"useSplitVector": false。

• 报错：operation exceeded time limit
  解决方法：增大cursorTimeoutInMs参数值（默认600000ms）。

• 大小写敏感问题
  注意：Column.name为大小写敏感，需确保与MongoDB字段名一致。

• 增量同步失败
  解决方法：检查query参数是否正确，并确保调度参数动态替换逻辑无误。

通过以上步骤，您可以成功配置MongoDB同步任务。如果有其他特殊需求（如整库同步、实时同步等），请参考相关文档进一步调整配置。