DataWorks使用 api 创建的数据集成任务怎么提交和运行？

在阿里云DataWorks中，通过API创建的数据集成任务需要经过提交和运行两个关键步骤才能正式生效并执行。以下是详细的流程和操作说明：

1. 创建数据集成任务

首先，您需要使用CreateDIJob接口创建数据集成任务。该接口会返回一个任务ID（DIJobId），用于后续操作。

• 请求参数：

  • ProjectId：指定DataWorks工作空间的ID。
  • JobName：任务名称。
  • MigrationType：同步类型（如全量或实时增量）。
  • SourceDataSourceType：源端数据源类型（如MySQL）。
  • DestinationDataSourceType：目标端数据源类型（如Hologres）。
  • 其他配置参数包括资源设置、转换规则、表映射等。

• 返回参数：

  • RequestId：请求ID。
  • DIJobId：创建的任务ID。

2. 提交数据集成任务

在DataWorks中，创建的任务默认处于未提交状态，需要通过以下方式提交到生产环境：

2.1 使用发布流程提交

DataWorks支持通过发布流程将开发环境中的任务提交到生产环境。您可以调用以下API完成相关操作：

• 获取发布流程列表： 使用ListDeployments接口查询当前工作空间的发布流程列表。

• 获取发布流程详细信息： 使用GetDeployment接口查看具体的发布流程信息，确认是否包含您创建的任务。

• 手动提交任务： 如果API未直接提供提交功能，您可以通过DataWorks控制台手动提交任务：

  1. 登录DataWorks控制台。
  2. 进入运维中心模块。
  3. 找到对应的任务，点击提交按钮，将其提交到生产环境。

注意：如果任务依赖的数据源已被删除或修改，请先通过批量操作修改任务数据源，并重新提交。

3. 运行数据集成任务

提交完成后，您可以使用以下API启动任务：

3.1 启动任务

调用StartDIJob接口启动数据集成任务。

• 请求参数：

  • DIJobId：任务ID。
  • RealtimeStartSettings：实时同步启动设置（仅适用于实时任务）。
  • FailoverSettings：Failover设置。
  • ForceToRerun：是否强制重跑全部同步步骤。

• 返回参数：

  • RequestId：请求ID。

3.2 查询任务运行状态

启动任务后，您可以使用以下API监控任务运行状态：

• 获取任务运行信息： 调用ListDIJobRunDetails接口查看任务的运行详情。

• 获取任务日志： 调用GetDIJobLog接口查看任务日志，排查可能的错误。

4. 停止任务（可选）

如果任务运行异常或需要中断，可以调用StopDIJob接口停止任务。

• 请求参数：

  • DIJobId：任务ID。

• 返回参数：

  • RequestId：请求ID。

5. 注意事项

• 任务依赖的数据源：确保任务依赖的数据源已正确配置且未被删除。如果数据源被删除，可能导致任务无法正常运行。
• 权限管理：调用API时需具备相应的RAM权限。例如，CreateDIJob和StartDIJob需要dataworks:*的写入权限。
• 任务告警：建议为任务配置告警规则，以便及时发现和处理异常。可以使用CreateDIAlarmRule接口创建告警规则。

总结

通过API创建的数据集成任务需要先提交到生产环境，然后通过StartDIJob接口启动运行。如果遇到问题，可以通过日志和运行信息进行排查。请确保任务依赖的数据源和权限配置正确，以避免运行失败。