整库离线同步可选择的同步方案如下表所示。
同步方案 描述
只全量一次性同步 只执行一次同步操作,将来源数据源的所有数据,全量同步至Elasticsearch中。
只增量一次性同步 只执行一次同步操作,按照指定的过滤条件,将来源数据源的增量数据同步至Elasticsearch中。
周期性全量同步 按照配置的周期任务,每次执行任务时都将来源数据源的所有数据,全量同步至Elasticsearch中。
周期性增量同步 按照指定的过滤条件和周期任务,每次执行任务时仅将增量数据同步至Elasticsearch中。
全量一次性同步后周期性增量 先将来源数据源的所有数据全量同步至Elasticsearch,再按照指定的过滤条件和周期任务,后续每次执行任务时仅将增量数据同步至Elasticsearch中。
在DataWorks中,如果您想让任务上线后只执行一次,可以在创建任务时设置周期为“一次”。此外,您需要将任务发布至生产环境,因为只有生产环境才会自动调度。
具体来说,DataWorks支持标准模式工作空间任务从开发环境发布至生产环境,也支持简单模式工作空间任务在同一地域同一阿里云账号下,任务在不同工作空间跨空间发布。
任务的运行条件包括上游任务运行成功、当前任务定时时间已到、调度资源充足、当前任务未冻结等。
任务配置完成后,您可以对已创建的任务进行管理,同时还可以查看任务运行的指标详情。 这样,您就可以根据实际的运行情况和效果,对任务进行相应的调整和优化。
可以配置手动业务流程https://help.aliyun.com/zh/dataworks/user-guide/create-a-manually-triggered-node?spm=a2c4g.11186623.0.i2 ,此回答整理自钉群“DataWorks交流群(答疑@机器人)”
在DataWorks中,如果想让任务仅执行一次,可以选择创建为"手动任务"。这种方式下,任务不需要通过调度器来触发,而是通过手动执行的方式来运行。具体操作步骤如下:
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。