开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

DataWorks OSS目录下文件名称:data_年月日,根据目录日期,一次性将历史三年数据同步?

DataWorks OSS目录下文件名称:data_年月日,根据目录日期,一次性将历史三年数据同步到ODS对应日期分区,自动调度如何配置?

展开
收起
cuicuicuic 2023-08-21 16:29:00 48 0
1 条回答
写回答
取消 提交回答
  • 全栈JAVA领域创作者

    在DataWorks中,可以通过使用自定义调度任务来实现一次性将历史三年数据同步到ODS对应日期分区的功能。具体步骤如下:

    创建一个新的自定义调度任务。
    在“配置”页面中,选择“数据源管理”作为数据源,并填写相关信息,包括OSS数据源的Endpoint、AccessKey ID、AccessKey Secret等。
    在“配置”页面中,选择“ODS数据源”作为目标数据源,并填写相关信息,包括ODS数据源的Endpoint、AccessKey ID、AccessKey Secret等。
    在“配置”页面中,选择“数据同步”作为任务类型,并填写相关信息,包括同步的数据源、目标数据源、同步规则等。
    在“配置”页面中,设置任务的调度周期为“每天”,并选择要同步的日期范围,例如“2019-01-01”到“2021-12-31”。
    在“配置”页面中,保存任务配置,并启动任务。
    在任务运行完成后,可以检查ODS数据源中是否存在对应日期分区的数据。
    需要注意的是,在同步数据时,需要根据数据源的特点和业务需求,选择合适的同步规则和数据处理方式,以确保数据的准确性和完整性。同时,也需要对任务进行监控和维护,以便及时发现和解决问题。

    2023-08-23 10:09:14
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关产品

  • 大数据开发治理平台 DataWorks
  • 相关电子书

    更多
    DataWorks调度任务迁移最佳实践-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks商业化资源组省钱秘籍-2020飞天大数据平台实战应用第一季 立即下载
    基于DataWorks数据服务构建疫情大屏-2020飞天大数据平台实战应用第一季 立即下载