开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

dataworks如何同步maxcompute -all?

dataworks如何同步maxcompute -all?

展开
收起
十一0204 2023-04-03 22:41:01 212 0
3 条回答
写回答
取消 提交回答
  • 公众号:网络技术联盟站,InfoQ签约作者,阿里云社区签约作者,华为云 云享专家,BOSS直聘 创作王者,腾讯课堂创作领航员,博客+论坛:https://www.wljslmz.cn,工程师导航:https://www.wljslmz.com

    1、进入节点管理列表。

    登录DataWorks控制台,选择需要同步的项目,在项目中进入节点管理列表。

    2、选择同步方向。

    在节点管理列表中,首先选择同步方向为“新增/修改MaxCompute元数据“。选择后,页面中会出现“同步依赖关系”选项和“修改表结构“选项。

    3、配置同步依赖关系。

    如果数据同步中需要进行依赖关系的同步,则需要在“同步依赖关系“选项中进行配置。例如,如果有一个表A和B都存在依赖关系,需要进行同步,则需要在配置中明确指定。

    4、配置表结构修改。

    如果需要修改MaxCompute表的结构,则需要在“修改表结构“选项中进行配置。在该选项中,用户可以定义新增,修改或者删除表字段的操作。

    5、运行同步任务。

    完成以上配置后,可以点击“运行“按钮,启动同步任务。在任务运行后,即可全局同步MaxCompute所有数据。

    2023-04-24 14:58:21
    赞同 展开评论 打赏
  • 意中人就是我呀!

    "在同步解决方案页面的右上角单击新建任务。在新建任务页面选择数据同步的来源与去向后,选择可用的同步方案。支持的来源数据源与去向数据源,可参见支持的数据源,当前支持的同步方案如下所示。 6f2f48932013b84a50bd8c779a6bb85.png 根据数据同步的目的数据源类型进行分类,当前DataWorks数据同步支持以下几种数据同步方案:同步数据至DataHub:当前支持的数据同步解决方案为一键实时同步至DataHub。同步数据至Elasticsearch:当前支持的数据同步解决方案为一键实时同步至Elasticsearch。同步数据至Hologres:当前支持的数据同步解决方案为一键实时同步至Hologres。同步数据至AnalyticDB MySQL3.0:当前支持的数据同步解决方案为一键实时同步至AnalyticDB MySQL3.0。同步数据至MaxCompute:当前支持的数据同步解决方案为一键实时同步至MaxCompute整库离线同步至MaxCompute(周期性全量)整库离线同步至MaxCompute(周期性增量)整库离线同步至MaxCompute(一次性全量)整库离线同步至MaxCompute(一次性增量)整库离线同步至MaxCompute(一次性全量周期增量) https://help.aliyun.com/document_detail/171765.html 此回答整理自钉群“DataWorks交流群(答疑@机器人)”"

    2023-04-05 13:23:45
    赞同 展开评论 打赏
  • 十分耕耘,一定会有一分收获!

    楼主你好,根据你的描述有两个方案:一是业务数据和行为日志通过Kafka,再通过Flume 上传到Datahub,以及Max Compute,最终在QuickBI进行展示。二是业务数据和行为日志通过Kafka以及DataWorks,MaxCompute,最终在QuickBI当中展示。

    2023-04-04 09:24:11
    赞同 1 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关产品

  • 大数据开发治理平台 DataWorks
  • 热门讨论

    热门文章

    相关电子书

    更多
    DataWorks数据集成实时同步最佳实践(含内测邀请)-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks调度任务迁移最佳实践-2020飞天大数据平台实战应用第一季 立即下载
    基于DataWorks数据服务构建疫情大屏-2020飞天大数据平台实战应用第一季 立即下载