开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

如何配置dataworks导出任务?

如何配置dataworks导出任务?

展开
收起
滴滴滴~ 2023-03-21 16:02:27 235 1
4 条回答
写回答
取消 提交回答
  • 配置DataWorks导出任务的步骤如下:

    1. 登录DataWorks控制台。
    2. 在左侧导航栏中,单击“任务”。
    3. 在“任务列表”页面,单击“创建任务”。
    4. 在“创建任务”页面,选择“导出任务”。
    5. 在“基本信息”选项卡中,输入任务名称、描述等信息。
    6. 在“数据源”选项卡中,选择要导出的数据源。
    7. 在“目标”选项卡中,选择要导出的目标。
    8. 在“任务配置”选项卡中,配置任务的执行时间、重试次数等参数。
    9. 单击“提交”按钮,创建任务。

    注意:

    • 导出的数据量不能超过100GB。
    • 导出的数据只能存储在DataWorks的OSS桶中。
    • 导出的数据只能以CSV、JSON或Parquet格式存储。
    2024-02-29 17:07:35
    赞同 展开评论 打赏
  • 迁移助手支持通过全量导出、增量导出和自选导出等方式导出任务,详细创建方法请参阅创建和查看DataWorks导出任务

    2023-03-21 20:23:33
    赞同 展开评论 打赏
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。
    • 迁移助手支持通过全量导出、增量导出和自选导出等方式导出任务。不同导出类型的使用场景如下:
    • 全量导出适用于全量备份工作空间中的任务,主要用于备份代码、快速复制一个测试环境等场景。全量导出的版本为开发过程中最新的版本。
    • 全量导出仅支持导出保存成功的对象。当同一个任务有开发和生产等多个版本时,以开发侧保存的版本为主进行全量导出,操作详情请参见下文的创建全量导出任务。
    • 增量导出基于对象的最后修改时间,筛选最近修改过的对象并导出,操作详情请参见下文的创建增量导出任务。
    • 参考文档
    2023-03-21 17:34:07
    赞同 展开评论 打赏
  • 在DataWorks导出页面,单击右上方的新建导出任务。在新建导出任务对话框中,配置各项参数。image.png 参数 描述 导出名称 导出名称仅支持大小写字母、中文、数字、下划线和小数点。 导出类型 选择全量导出,您将导出当前工作空间下所有已保存、已提交的周期任务、手动任务、表元数据和数据源。 黑名单 您可以根据业务需求决定是否选中添加黑名单,以筛选全量导出过程中无需导出的任务和资源。 导出版本格式 包括公共云和专有云(V3.6.1-V3.11)。DataWorks上不同版本的数据格式不一致,请先确认待导入环境中DataWorks的版本。 备注 对导出任务进行简单描述。可选:添加黑名单并导出任务。如果您选中添加黑名单,请执行下述操作:在新建导出任务对话框中,单击添加黑名单。在选择黑名单页面,选择无需导出的对象。单击添加到黑名单。单击页面右上方的开始导出。在导出确认对话框中,单击确认。可选:如果您未选中添加黑名单,请直接单击开始导出。在导出进度对话框中,查看任务的导出进度。待导出成功后,单击返回导出任务列表。 此答案整理自钉群“DataWorks交流群(答疑@机器人)”

    2023-03-21 17:04:16
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关产品

  • 大数据开发治理平台 DataWorks
  • 热门讨论

    热门文章

    相关电子书

    更多
    低代码开发师(初级)实战教程 立即下载
    冬季实战营第三期:MySQL数据库进阶实战 立即下载
    阿里巴巴DevOps 最佳实践手册 立即下载