DataWorks转实例相关文档？

DataWorks转实例相关文档说明

在阿里云大数据开发治理平台DataWorks中，转实例是任务调度和执行的重要环节。以下是关于DataWorks转实例的相关内容总结，涵盖发布后即时生成实例的机制、注意事项以及具体场景说明。

1. 发布后即时生成实例机制

• 定义：选择“发布后即时生成”方式时，任务发布至生产环境后会根据配置立即生成实例。
• 生效时间差：
  • 发布后即时生成实例存在10分钟的时间差，即任务定时时间需在发布时间点10分钟后才会真实执行或重新生成实例并调度。
  • 如果发布时间点与生成实例时间点差值小于10分钟，可能导致实例空跑（状态为实时生成的过期实例）。
• 作用范围：
  • 并非所有变更都会立即生效。例如，修改节点关联的数据源实例后，当天已有实例仍会采用变更前的数据源实例执行。
  • 补数据操作将根据任务最新配置执行。

2. 注意事项

• 调度时间设置：
  • 未来时间：任务将根据调度时间生成可执行的周期实例并调度执行。
  • 过去时间：任务会生成过期的空跑实例，状态为实时生成的过期实例，不会真实执行。若需执行当天数据，可通过补数据操作完成。
• 依赖关系复杂性：
  • 更新已发布任务的调度时间可能导致当天实例依赖关系复杂，建议非必要情况下避免使用“发布后即时生成”方式。
  • 上下游任务实例生成方式不一致可能导致孤立节点问题，孤立节点不会自动调度运行。

3. 具体场景说明

场景一：新建节点发布后选择即时生成实例

• 描述：
  • 新建任务发布至生产环境后，实例是否真实执行与其调度时间有关。
  • 示例：假设任务发布时间为12:00，则实时转实例生效时间为12:10：
  • 若调度时间在12:10之后，任务将真实调度执行。
  • 若调度时间在12:10之前，任务将空跑，状态为实时生成的过期实例。

场景二：更新已发布任务的调度周期

• 描述：
  • 修改生产任务的调度时间后，当天周期实例可能出现变更前与变更后的实例同时存在的情况。
  • 示例：
  • 未来时间：DataWorks将根据最新调度配置替换已生成的未来时间段的实例。
  • 过去时间：DataWorks会保留修改前的实例，替换或删除修改后的实例。

场景三：上下游任务实例生成方式不一致

• 描述：
  • 若上下游均为新建任务，但生成方式不一致（如上游选择T+1次日生成，下游选择发布后即时生成），可能导致孤立节点问题。
  • 孤立节点不会自动调度运行，可能影响下游依赖任务的执行。

场景四：变更任务调度时间对下游依赖关系的影响

• 描述：
  • 任务发布后即时生成的实例，其下游会按照上游最新的调度配置（天、月、小时）来设置下游依赖。

4. 基线实例计费说明

• 计费项：所有处于开启状态的基线均会产生基线实例，DataWorks根据每天23:59产生的基线实例数量收取费用。
• 计费粒度：按“阿里云主账号-地域（Region）”维度进行计费，不同地域间计费互不影响。
• 计费周期与定价：
  • 普通云、政务云、金融云的定价区间不同，具体价格详见知识库。
• 欠费处理：
  • 账号欠费后提供24小时服务延续时间，超过24小时将停用服务。

5. 测试实例操作指南

• 执行测试：
  1. 进入运维中心，选择目标工作空间。
  2. 在周期任务页面，通过列表模式或DAG图模式对任务执行测试操作。
• 查看测试实例：
  • 测试实例列表展示周期任务执行测试后生成的实例，支持筛选条件过滤查询。
  • 支持的操作包括：DAG图查看、运行诊断、重跑、重跑下游、置成功、终止运行等。

6. 数据导入与同步

• RDS MySQL导入GDB：
  • 配置独享资源组，选择MySQL数据源和GDB数据源，编辑同步任务参数并运行。
• GDB Reader/Writer配置：
  • GDB Reader用于导出点和边数据，GDB Writer用于导入数据，需注意字段映射和主键ID转换规则。

以上为DataWorks转实例相关文档的核心内容，涵盖了机制、注意事项、具体场景及操作指南。如有进一步疑问，请明确指出具体需求以便提供更详细的解答。