开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

我要每天增量抽取,T-6个交易日的数据,请问应该怎么配置调度任务呢?

我要每天增量抽取,T-6个交易日的数据,请问应该怎么配置调度任务呢?

展开
收起
游客3oewgrzrf6o5c 2022-07-18 14:46:35 284 0
1 条回答
写回答
取消 提交回答
  • 全栈JAVA领域创作者

    可以使用定时任务,比如每天的凌晨或者下午固定时间进行抽取数据的操作。可以使用Python中的schedule库来实现定时任务。另外,需要注意数据抽取的频率不要过高,以免影响交易系统的性能。

    2023-07-29 20:00:06
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关电子书

更多
Quanta:Quora的HBase分层计数系统 立即下载
智能设计的增量 立即下载
十分钟上线-使用函数计算构建支付宝小程序服务 立即下载