开发者社区 > 大数据与机器学习 > 大数据计算 MaxCompute > 正文

有没有批量进行离线采集的文档呀?

有没有批量进行离线采集的文档呀?

展开
收起
solitude. 2023-02-21 17:46:47 387 0
3 条回答
写回答
取消 提交回答
  • 按照我的步骤尝试一下:

    在阿里云DataWorks控制台中选择“工作空间”并进入相应工作空间,选择“数据集成”菜单。

    在“数据集成”页面中,选择“离线同步任务”选项卡,然后单击“创建任务”按钮。

    在“创建离线同步任务”页面中,填写任务名称和任务描述,然后选择需要同步的源数据源和目标数据源。如果源数据源为数据库类型,则需要填写数据库信息,包括连接信息、数据库名、用户名和密码。

    在“数据源配置”页面中,为每个源数据表选择同步方式(全量或增量),并配置同步规则。如果需要同步多张数据表,则可以单击“添加数据表”按钮添加更多的数据表。

    在“同步设置”页面中,配置同步任务的调度时间和同步延迟时间。

    在“高级设置”页面中,可以配置数据过滤和转换规则、数据同步的性能和并发度等。

    单击“确认”按钮,创建离线同步任务。

    在“离线同步任务”列表中,选择需要执行的任务,单击“手动执行”按钮,手动执行数据同步任务。可以选择“全量同步”或“增量同步”方式执行任务。 https://help.aliyun.com/document_detail/449451.html

    2023-02-22 23:02:56
    赞同 展开评论 打赏
  • 可以看下DataWorks的同步解决方案。参考该链接https://help.aliyun.com/document_detail/449451.html。此回答整理自钉钉群”MaxCompute开发者社区2群“

    2023-02-21 17:58:36
    赞同 展开评论 打赏
  • Tunnel是MaxCompute提供的离线批量数据通道服务,主要提供大批量离线数据上传和下载,仅提供每次批量大于等于64MB数据的场景,小批量流式数据场景请使用DataHub实时数据通道以获得更好的性能和体验。

    2023-02-21 17:56:03
    赞同 展开评论 打赏

MaxCompute(原ODPS)是一项面向分析的大数据计算服务,它以Serverless架构提供快速、全托管的在线数据仓库服务,消除传统数据平台在资源扩展性和弹性方面的限制,最小化用户运维投入,使您经济并高效的分析处理海量数据。

相关电子书

更多
低代码开发师(初级)实战教程 立即下载
冬季实战营第三期:MySQL数据库进阶实战 立即下载
阿里巴巴DevOps 最佳实践手册 立即下载