开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

DataWorks中我有两个工作空间分别叫cdp与od,如何在cdp这个空间,引用ods空间里的数据

DataWorks中我有两个工作空间分别叫cdp与od,如何在cdp这个空间,引用ods空间里的数据?image.png

展开
收起
cuicuicuic 2023-08-07 19:23:47 59 0
2 条回答
写回答
取消 提交回答
  • 一般来说 大周期任务 对小周期任务产出数据做归档 会 今天8.1归档昨天7.31的数据 也就是7.31 0点-23点的每个任务产出的数据 这样是符合预期的吗 ,跨空间访问加项目名前缀 ods.xxxx 这样子。小时任务设置依赖上一周期 本节点 天任务正常依赖小时任务 天任务定时时间在(0点-1点)之间,此回答整理自钉群“DataWorks交流群(答疑@机器人)”

    2023-08-14 11:11:38
    赞同 展开评论 打赏
  • 北京阿里云ACE会长

    问题1:在DataWorks中,如果您想在一个工作空间(例如cdp)引用另一个工作空间(例如ods)中的数据,可以使用以下方法:

    创建数据源:在cdp工作空间中创建一个数据源,将其配置为连接到ods工作空间中的相应数据存储(例如MaxCompute表、RDS数据库等)。

    引用数据源:在cdp工作空间的任务或作业中,使用刚创建的数据源来读取ods工作空间中的数据。您可以通过选择数据源并指定目标表或查询来引用ods工作空间中的数据。

    授权访问权限:确保您在cdp工作空间中的账号具有足够的权限来访问ods工作空间中的数据。根据具体的数据存储类型,您可能需要授予适当的访问权限。

    问题2:要统计0-23点的数据并加上第二天0点的任务产出的数据,可以考虑以下方法:

    创建两个任务:创建一个任务用于统计0-23点的数据,另一个任务用于统计第二天0点的数据。

    调度设置:针对第一个任务,将其调度时间设置为0-23点的时间范围;针对第二个任务,将其调度时间设置为第二天0点。

    数据合并:在结果统计任务中,可以将0-23点的数据和第二天0点的数据进行合并,生成最终的统计结果。

    问题3:对于补数据的情况,如果第二天0点的数据还没有补完,而日任务已经开始补了,可以考虑以下方法:

    分批补数据:将补数据的过程分为多个批次进行,确保每个批次的补数据时间不会与日任务的执行时间重叠。您可以根据数据量和任务执行时间来确定合理的批次划分。

    手动控制:在DataWorks中,您可以手动控制节点的执行顺序。您可以先等第二天0点的数据补完后再开始执行日任务,以避免数据补充过程中的冲突。

    任务依赖设置:通过设置任务之间的依赖关系,可以确保第二天0点的数据补完后才开始执行日任务。在DataWorks中,您可以设置节点之间的依赖关系,以确保任务的顺序执行。

    2023-08-09 22:57:53
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关产品

  • 大数据开发治理平台 DataWorks
  • 相关电子书

    更多
    DataWorks调度任务迁移最佳实践-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks商业化资源组省钱秘籍-2020飞天大数据平台实战应用第一季 立即下载
    基于DataWorks数据服务构建疫情大屏-2020飞天大数据平台实战应用第一季 立即下载

    相关实验场景

    更多