开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

DataWorks中有个集成任务,已提交上线,在运维中心查看是运行成功,但没有写入数据到oss?

DataWorks中有个集成任务,已提交上线,在运维中心查看是运行成功,但没有写入数据到oss(实际源表是有数据的),然后在DataStudio里面运行,又有数据写入oss?

展开
收起
真的很搞笑 2023-05-21 16:56:56 150 0
2 条回答
写回答
取消 提交回答
  • 集成任务是 DataWorks 提供的一种数据同步工具,可以帮助用户将数据从不同的数据源复制到目标库中,包括阿里云对象存储 OSS。

    根据您的描述,集成任务已提交上线并在运维中心运行成功,但没有写入数据到 OSS。可能原因如下:

    1. 检查 OSS Endpoint 和 AccessKeySecret 是否正确。您可以在 DataWorks 中的"流程 -> 参数"中,查看配置的 OSS Endpoint 和 AccessKeySecret 是否正确。

    2. 检查 OSS 存储桶是否存在。需要确保 OSS 存储桶在阿里云控制台中已创建并配置正确,且 DataWorks 中已经正确配置好对应的 OSS 存储桶名称和路径。

    3. 检查同步任务的字段映射是否正确。在同步任务中配置的源表和目标表字段映射是否正确,确保源表中的数据能够正确地映射到目标表中。

    4. 检查同步任务中的过滤条件是否正确。如果同步任务中配置了过滤条件,请确保条件设置正确。

    5. 检查网络是否正常。您可以在云服务器上测试网络连通性,确保可以成功访问 OSS 对象存储服务。

    如果在 DataStudio 中运行同步任务能够正常写入 OSS,可能是由于权限配置问题。请确保在 DataWorks 中配置的数据源和目标表的权限是正确的,并检查您的权限是否足够执行同步任务。

    另外,建议您查看同步任务运行日志,确认任务执行过程中是否出现了报错信息。

    2023-05-22 09:02:30
    赞同 展开评论 打赏
  • 可能的原因如下:

    1、集成任务中的任务节点配置错误,导致数据没有写入oss。需要检查集成任务的配置,确保任务节点和连接器等配置正确。

    2、运行环境不同,导致数据写入oss的行为有所不同。需要检查两次运行的环境是否一致,例如DataWorks中的运行环境和DataStudio中的运行环境是否一致。

    3、集成任务中的任务节点在DataWorks中运行时出现异常,导致数据没有写入oss。需要检查DataWorks中的运行日志,查看任务节点是否出现了异常情况。

    解决方法:

    1、检查集成任务的配置,确保任务节点和连接器等配置正确。

    2、确认两次运行的环境是否一致,例如DataWorks中的运行环境和DataStudio中的运行环境是否一致。

    3、检查DataWorks中的运行日志,查看任务节点是否出现了异常情况。如果出现异常,需要针对异常情况进行修复。

    2023-05-22 07:46:39
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关产品

  • 大数据开发治理平台 DataWorks
  • 相关电子书

    更多
    DataWorks全链路数据质量解决方案-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks调度任务迁移最佳实践-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks商业化资源组省钱秘籍-2020飞天大数据平台实战应用第一季 立即下载