DataWorks为啥现在用 di节点，没法同步数据了？

DataWorks 中的离线同步节点（DI节点）无法同步数据的问题，可能与以下几个方面的原因相关。以下是详细分析和解决建议：

1. 任务配置问题

离线同步任务依赖于正确的配置才能正常运行。如果任务配置不完整或存在错误，可能导致同步失败。

• 检查数据源配置
  确保在 DataWorks 中正确创建了源端和目标端的数据源，并且数据源的连通性测试通过。

  • 源端和目标端数据源需要在 DataWorks 的管理中心进行注册。
  • 测试连通性时，确保至少一个资源组为“可连通”状态。

• 检查同步任务的读写插件配置
  离线同步任务通过读取插件和写入插件实现数据的读取与写入。如果插件配置错误或参数缺失，可能导致同步失败。

  • 如果使用向导模式配置任务，请确保所有必填项已正确填写。
  • 如果使用脚本模式配置任务，请检查脚本中是否包含必要的参数。

2. 调度依赖问题

离线同步任务的运行依赖于调度配置。如果调度依赖未正确设置，可能导致任务无法触发或执行失败。

• 检查节点输出与依赖关系
  在 DataWorks 中，每个节点会自动生成两个输出配置信息（_out 和 projectname.nodename）。如果下游节点依赖的父节点输出名不存在，系统会报错。

  • 确保离线同步节点的产出表已被正确添加为节点的输出。
  • 如果下游节点依赖了某个表（如 doctest.table_1），请确认该表已被正确配置为上游节点的输出。

• 检查调度时间配置
  确保离线同步任务的调度周期和定时调度时间已正确配置。如果调度时间未到，任务不会触发。

3. 资源组问题

离线同步任务的执行依赖于资源组。如果资源组规格不足或网络不通，可能导致任务延迟或失败。

• 检查资源组规格
  如果源端数据量较大，当前资源组可能无法处理全部数据量级。此时可以考虑升级资源组规格。

  • 不同规格的资源组支持的最大并发数不同，详情可参考 DataWorks 资源组概述。

• 检查网络连通性
  如果使用公网同步，可能存在网络不稳定、丢包等问题，影响同步性能。建议通过内网同步数据以提高稳定性。

4. 代码解析问题

离线同步任务的依赖关系可能通过代码自动解析生成。如果代码中未正确引用输入或输出表，可能导致依赖关系缺失。

• 从代码解析输入输出
  在节点编辑页面，单击“从代码解析输入输出”，通过代码血缘快速为节点设置依赖关系。
  • 确保代码中引用的表名与实际表名一致。
  • 如果代码中新增了表引用，请重新解析输入输出。

5. 其他常见问题

• 权限问题
  确保当前用户拥有开发角色权限，否则无法创建或提交同步任务。

• 日志排查
  如果任务仍然无法运行，可以通过查看任务执行日志定位问题。右键节点，选择“查看日志”，检查详细的同步过程。

总结

离线同步节点（DI节点）无法同步数据的原因可能涉及任务配置、调度依赖、资源组、代码解析等多个方面。建议按照以下步骤逐一排查： 1. 检查数据源配置和连通性。 2. 确认同步任务的读写插件配置是否正确。 3. 检查调度依赖关系和调度时间配置。 4. 确保资源组规格满足需求，并优先使用内网同步。 5. 从代码解析输入输出，确保依赖关系正确。 6. 查看任务执行日志，定位具体问题。

如果问题仍未解决，建议联系 DataWorks 技术支持团队获取进一步帮助。