DataWorks你们离线数据采集,有通过程序进行采集吗?每次连线特别耗时间?
在DataWorks中,你可以使用离线数据采集功能来批量采集数据。这种方式不需要实时连接到数据源,因此不会消耗大量的网络带宽和计算资源。
以下是如何使用离线数据采集的步骤:
首先,你需要在你的工作空间下创建一个新的数据集。
在数据集的"数据采集"页面上,你可以选择"离线数据采集"方式。
在"离线数据采集"页面上,你可以选择你想要采集的数据源,并设置采集的频率。
你可以选择在采集完成后自动加载数据,也可以选择手动加载数据。
保存设置后,DataWorks就会按照你的设置进行数据采集。
离线数据采集只适用于那些不需要实时更新的数据。对于需要实时更新的数据,你可能需要使用其他的数据采集方式,如实时数据采集或ETL。
您好,在 DataWorks 中可以通过以下方式进行离线数据采集:
$date 替换成dataworks的调度参数 例如
配置 arg=$[yyyymmdd-1]
调用 ${arg
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。