开发者学堂课程【全链路数据治理-全域数据集成：离线同步至 MaxCompute 最佳实践】学习笔记，与课程紧密连接，让用户快速学习知识。
课程地址：https://developer.aliyun.com/learning/course/1082/detail/16062
离线同步至MaxCompute最佳实践
离线同步至MaxCompute最佳实践
接下来我们会通过三个不同场景的最佳实践来跟大家简单介绍一下，如何通过比如说数据集成完成数据同步相关的工作。
首先给大家带来的场景是离线同步到MaxCompute，这也是我们平时使用相对较多的一个场景，我们这个最佳实践会以MYSQL作为例子进行离线同步写入到我们的数据仓库MaxCompute中。首先给大家介绍一下MaxCompute，它是阿里云自研的SaaS模式的云数据仓库，具备强大的离线数据分析处理能力，数据集成支持将不同源端数据离线同步到MaxCompute，然后方便大家进行后续的这个大数据相关的处理工作。
本篇文章是以MYSQL单表周期第一线同步到MaxCompute为场景，也是我们平常用到最多的场景来跟大家做一个介绍，首先从使用限制上，那为了保证这个同步的稳定，对于生产级别任务，建议大家使用data verse独享的数据集成资源组，接下来分别几步做步骤的介绍，首先我们在准备工作里需要添加原端和目标端的数据源，那我们可以新建一个MYSQL的数据源，可以支持阿里云的实力模式和连接串的两种模式。阿里云的实例模式是适合阿里云ids或MySQL；连接串模式适用于一些自建或者公网、本地机房的MySQL。我们这个操作以ids，就是以云上的ids或MySQL为例，首先新接数据源，可以把相关的信息填进去，然后需要它跟我们数据集成独享资源度的联通性进行一个测试，确保数据源是一个可联通的状态。如果没有联通，大家可以参考第三天的网络联通性的介绍。新建完MySQL数据源之后，我们可以新建MaxCompute的数据源，在data verse中绑定MaxCompute引擎之后，系统会默认建立一个odps first的默认数据源，那一般来说可以直接使用这个数据源。
完成两个数据源的添加之后，接下来配置同步任务，在data verse 的data studio页面当中选中新建业务流程，然后来创建离线同步节点，选择新建离线同步节点，那这样就能够创建我们一个离线同步的节点。创建完节点之后，可以设置数据源的来源类型，比如说名称、表、过滤规则等等都可以通过这种界面化的方式来做这个输入。设置数据的去向的话，可以设置数据源的类型，比如说我们刚才提到创建的MaxCompute这个数据源，那我们在目标表上也支持从下拉列表中选择，也支持使用一键生成目标表，可以基于原表的sigma直接新建目标表。
我们通过这个渐变化的方式，可以针对数据集成各种各样不同的任务的配置进行这种界面化的方式，接下来会有一些配置任务的参考，不管是参数的映射配置，以及通道的配置，在通道上去控制我们的同步速率，以及一些最大任务的并发数，这些都是可以在这个任务详细的列表当中进行不同的配置，然后具体针对于某一个点，大家可以参考文档，然后进行具体的规则设置。
接下来下一步就是配置数据集成的资源组，包括我们之前购买的独享数据集资源组，其实都可以在这个步骤进行配置。配置完资源组之后，直接进行调度的配置，因为是离线版，大家可以按照不同的周期策略，以及一些比如说失败重跑的策略来配置这个调度的属性。刚才这几步配置完之后，基本上我们的任务就已经配置完成了，可以直接在data studio当中直接提交我们的任务，当任务配置完成之后，此时可以依次点击保存和提交按钮，将我们的同步任务发布到生产环境当中进行运行。第二块是我们编辑发布之后，后面会有一个版本管理的功能，它可以进行查看、对比以及回滚等操作，因为是周期性离线的同步，我们可以针对这些任务进行运维，在我们dataverse运维中心工作流当中可以实现一些运维相关的操作，比如说暂停、恢复、补数据，查看日志等等，这些所有的功能，大家可以查看我们详细的文档，或者说直接在data verse当中的运维中心进行操作，这里就不再做详细的介绍了。
