开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

DataWorks支持断点续传的功能吗?

DataWorks支持断点续传的功能吗?

展开
收起
十一0204 2023-04-11 21:29:35 339 0
4 条回答
写回答
取消 提交回答
  • 公众号:网络技术联盟站,InfoQ签约作者,阿里云社区签约作者,华为云 云享专家,BOSS直聘 创作王者,腾讯课堂创作领航员,博客+论坛:https://www.wljslmz.cn,工程师导航:https://www.wljslmz.com

    是的,DataWorks支持作业的断点续传功能。在DataWorks中,如果您的作业因为某些原因中断了,您可以通过开启断点续传功能,在作业重新启动后从上次中断的位置继续执行。

    要启用断点续传功能,您需要在DataWorks中配置相应的参数。具体步骤如下:

    1. 在DataWorks中打开您的作业,并进入“基本属性”页面。

    2. 在“高级属性”区域中,找到“断点续传”选项,并将其设置为“是”。

    3. 保存作业配置,并提交作业。

    此时,如果您的作业因为某些原因中断了,您可以在DataWorks中重新启动该作业,并选择“从上次失败节点继续执行”选项。系统会自动从上次失败节点的位置继续执行作业。

    2023-04-29 22:58:10
    赞同 展开评论 打赏
  • 值得去的地方都没有捷径

    支持,DataWorks支持断点续传的功能。 在数据开发过程中,如果数据量较大,一次性上传或下载可能会很耗时,造成不必要的等待。为了解决这一问题,DataWorks提供了断点续传功能,可以在上传或下载过程中暂停并在后续的时间段内继续执行。这样可以大大减少上传和下载时间,提高数据开发的效率。

    以下是DataWorks支持断点续传的方式:

    对于ODPS数据源,可通过点击上传/下载按钮,勾选“断点续传”选项来实现。
    
    对于MaxCompute数据源,可在上传文件时,通过开启断点续传选项实现。同时,MaxCompute还支持分开上传和多线程上传两种方式,以提高上传效率。
    
    对于其他数据源类型(例如:OSS、RDS等),DataWorks也提供了与具体数据源相应的API实现断点续传功能,可通过开发自定义组件实现。
    
    2023-04-15 15:53:35
    赞同 展开评论 打赏
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    既支持传统的离线同步,也支持及时高效的实时同步

    2023-04-11 22:39:43
    赞同 展开评论 打赏
  • 坚持这件事孤独又漫长。
    • 是的,阿里云DataWorks支持断点续传功能。在数据同步任务中,如果任务失败或者中断,可以通过开启断点续传功能,从上次中断的地方继续同步数据,避免重复同步已经同步过的数据,减少了数据同步的成本,提高了数据同步的效率。
    • 同时,DataWorks还支持多种同步方式,包括全量同步、增量同步、全量加增量同步等,更加灵活地满足不同场景下的数据同步需求。
    2023-04-11 22:11:19
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关产品

  • 大数据开发治理平台 DataWorks
  • 相关电子书

    更多
    DataWorks数据集成实时同步最佳实践(含内测邀请)-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks调度任务迁移最佳实践-2020飞天大数据平台实战应用第一季 立即下载
    基于DataWorks数据服务构建疫情大屏-2020飞天大数据平台实战应用第一季 立即下载