开发者社区 > 大数据与机器学习 > 大数据计算 MaxCompute > 正文

DataWorks迁移ECS自建MySQL数据库至MaxCompute操作步骤是什么?

DataWorks迁移ECS自建MySQL数据库至MaxCompute操作步骤是什么?

展开
收起
真的很搞笑 2023-10-16 21:13:20 65 0
3 条回答
写回答
取消 提交回答
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    以下是迁移ECS自建MySQL数据库至MaxCompute的操作步骤:

    1. 在DataWorks上创建MySQL数据源:登录DataWorks控制台,单击左侧导航栏的“管理控制台”,在下拉框中选择对应的工作空间后单击“进入管理控制台”。进入工作空间管理中心页面后,单击左侧导航栏的“数据源”,进入数据源页面。搜索并创建MySQL数据源。
    2. 创建MaxCompute数据源:在DataWorks的“数据集成”页面中,点击“创建数据源”按钮,选择“MaxCompute”作为数据源类型。在数据源配置页面中,填写MaxCompute的相关信息,包括访问ID、访问密钥、项目名称等,然后点击“保存”按钮。
    3. 创建连接:在资源组配置页面中,点击“添加连接”按钮,选择“MySQL”作为连接类型。在连接配置页面中,填写MySQL数据库的相关信息,包括服务器地址、端口、数据库名、用户名、密码等,然后点击“保存”按钮。
    4. 创建任务:在DataWorks的“数据集成”页面中,点击“创建任务”按钮,选择“迁移数据”作为任务类型。在任务配置页面中,选择需要迁移的数据表和字段,然后点击“保存”按钮。
    5. 运行任务:在任务列表页面中,找到刚刚创建的任务,点击“运行”按钮,等待任务完成。
    2023-10-17 14:56:08
    赞同 展开评论 打赏
  • 在DataWorks上创建MySQL数据源。使用主账号登录DataWorks控制台。在工作空间列表单击进入数据集成。image.png
    在左侧导航栏,单击数据源。单击数据源管理页面右上角的新增数据源。在新增数据源页面,单击MySQL。在新增MySQL数据源对话框中,配置各项参数,详情请参见配置MySQL数据源。本文以连接串模式为例,在JDBC URL处输入您刚刚记录的ECS私有地址和MySQL的默认端口号3306。image.png
    说明 当前VPC环境下的自建MySQL数据源暂不支持测试连通性,因此连通性测试失败是正常现象。单击相应资源组后的测试连通性。数据同步时,一个任务只能使用一种资源组。您需要在每种资源组上单独测试连通性,以保证同步任务使用的数据集成资源组能够与数据源连通,否则将无法正常执行数据同步任务。详情请参见数据源测试连通性。测试连通性通过后,单击完成。创建MaxCompute表。您需要通过DataWorks创建一个表,用于接收来自MySQL的测试数据。单击左上角的image.png
    图标,选择全部产品 > DataStudio(数据开发)。新建一个业务流程,详情请参见创建业务流程。右键单击新建的业务流程,选择新建 > MaxCompute > 表。输入您的MaxCompute表名称,本例中使用和MySQL数据库表一样的名称good_sale。单击DDL模式后,输入您的建表语句并生成表结构。image.png
    image.png
    本例中使用的建表语句如下,请注意数据类型的转换。CREATE TABLE
    https://help.aliyun.com/document_detail/154993.html,此回答整理自钉群“DataWorks交流群(答疑@机器人)”

    2023-10-17 07:15:09
    赞同 展开评论 打赏
  • 将 ECS 上的自建 MySQL 数据库迁移到 MaxCompute,可以按照以下步骤进行操作:

    1. 准备数据:确保 ECS 自建 MySQL 数据库中的数据是您要迁移的目标数据。如果需要进行数据清洗或转换,请确保在迁移之前完成。

    2. 创建 MaxCompute 表:在 DataWorks 中,找到所属项目,在项目首页选择“开发”菜单,然后选择“数据开发”。

    3. 在数据开发页面,点击“新建表”按钮,填写表名、字段和分区等信息,并创建与 ECS 自建 MySQL 数据库相对应的 MaxCompute 表结构。

    4. 使用数据集成工具完成数据抽取:在 DataWorks 中,选择“运维”菜单,然后选择“数据集成”。

    5. 在数据集成页面,点击“新建任务”按钮,选择“数据抽取”任务类型。

    6. 配置数据源和目标源:选择 ECS 自建 MySQL 数据库作为数据源,选择 MaxCompute 表作为目标源。

    7. 配置数据抽取规则:设置抽取规则以确定要抽取的数据范围、条件和方式。

    8. 执行数据抽取任务:保存并启动数据抽取任务,系统将会开始从 ECS 自建 MySQL 数据库中抽取数据,并加载到 MaxCompute 表中。

    9. 验证数据:在 MaxCompute 中查看和验证数据是否正确导入。

    请注意,以上步骤仅是提供了一个大致的迁移方案,具体操作和配置可能因实际情况而有所调整。在执行迁移之前,请确保您已经熟悉 DataWorks 的操作方式,并且根据具体场景和需求进行相应的配置和调整。

    2023-10-16 21:49:36
    赞同 展开评论 打赏

MaxCompute(原ODPS)是一项面向分析的大数据计算服务,它以Serverless架构提供快速、全托管的在线数据仓库服务,消除传统数据平台在资源扩展性和弹性方面的限制,最小化用户运维投入,使您经济并高效的分析处理海量数据。

相关产品

  • 云原生大数据计算服务 MaxCompute
  • 相关电子书

    更多
    DataWorks数据集成实时同步最佳实践(含内测邀请)-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks商业化资源组省钱秘籍-2020飞天大数据平台实战应用第一季 立即下载
    基于DataWorks数据服务构建疫情大屏-2020飞天大数据平台实战应用第一季 立即下载