开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

DataWorks你们离线数据采集,有通过程序进行采集吗?每次连线特别耗时间?

DataWorks你们离线数据采集,有通过程序进行采集吗?每次连线特别耗时间?image.png

展开
收起
真的很搞笑 2023-10-29 18:18:20 80 0
3 条回答
写回答
取消 提交回答
  • 在DataWorks中,你可以使用离线数据采集功能来批量采集数据。这种方式不需要实时连接到数据源,因此不会消耗大量的网络带宽和计算资源。

    以下是如何使用离线数据采集的步骤:

    1. 首先,你需要在你的工作空间下创建一个新的数据集。

    2. 在数据集的"数据采集"页面上,你可以选择"离线数据采集"方式。

    3. 在"离线数据采集"页面上,你可以选择你想要采集的数据源,并设置采集的频率。

    4. 你可以选择在采集完成后自动加载数据,也可以选择手动加载数据。

    5. 保存设置后,DataWorks就会按照你的设置进行数据采集。

    离线数据采集只适用于那些不需要实时更新的数据。对于需要实时更新的数据,你可能需要使用其他的数据采集方式,如实时数据采集或ETL。

    2023-10-30 14:43:47
    赞同 展开评论 打赏
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    您好,在 DataWorks 中可以通过以下方式进行离线数据采集:

    1. 通过 OSS SDK 进行数据采集
    2. 通过 TDM 工具进行数据采集
    2023-10-30 13:02:40
    赞同 展开评论 打赏
  • 2023-10-29 23:11:23
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关产品

  • 大数据开发治理平台 DataWorks
  • 相关电子书

    更多
    DataWorks数据集成实时同步最佳实践(含内测邀请)-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks调度任务迁移最佳实践-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks商业化资源组省钱秘籍-2020飞天大数据平台实战应用第一季 立即下载