开发者社区 > 大数据与机器学习 > 大数据计算 MaxCompute > 正文

想问下 DataWorks中我自己的数据源mysql数据库(不是阿里云的数据库) 同步到?

想问下 DataWorks中我自己的数据源mysql数据库(不是阿里云的数据库) 同步到maxcompute中 网络环境怎么打通? 第二个问题 这个资源组的话 可以是公共资源组吗? 还是说必须是独享资源组?

展开
收起
cuicuicuic 2023-07-13 09:39:25 40 0
3 条回答
写回答
取消 提交回答
  • 北京阿里云ACE会长

    在阿里云 DataWorks 中,您可以通过同步任务将自己的数据源 MySQL 数据库同步到阿里云的数据存储系统中(如 MaxCompute、AnalyticDB、HybridDB 等)。同步任务可以将 MySQL 数据库中的数据复制到目标数据存储系统中,并保持数据的一致性和完整性。
    具体步骤如下:
    创建数据源:在 DataWorks 中创建 MySQL 数据源,您需要提供 MySQL 数据库的连接信息和权限等信息。
    创建同步任务:在 DataWorks 中创建同步任务,并选择 MySQL 数据源作为数据源。在同步任务中,您需要指定目标数据存储系统和表结构等信息。
    配置同步任务:在同步任务中,您可以选择同步的数据范围、同步的方式(全量同步或增量同步)、同步的调度周期等信息。
    运行同步任务:在同步任务配置完成后,可以手动运行同步任务,或者设置定时调度自动运行同步任务。

    2023-07-30 18:59:38
    赞同 展开评论 打赏
  • 如果你的数据源是自己的MySQL数据库(非阿里云的数据库),而不是DataWorks提供的内置数据源,仍然可以将其同步到DataWorks中。以下是一般的步骤:

    1. 在DataWorks工作台中,导航到“数据集成”模块。
    2. 点击“连接管理”选项卡,并点击“新建连接”按钮创建一个新的数据连接。
    3. 在连接类型中选择“自建数据库”,然后填写自定义数据库的相关信息,包括主机地址、端口、数据库名称、用户名和密码等。
    4. 保存连接配置并测试连接,确保能够成功连接到自己的MySQL数据库。
    5. 返回“数据集成”模块,点击“同步任务”选项卡,然后点击“新建同步任务”按钮创建一个新的同步任务。
    6. 在同步任务配置页面,选择刚才创建的自定义数据连接作为源数据源,选择目标数据源为MaxCompute(ODPS)等DataWorks支持的目标存储。
    7. 配置其他同步任务参数,如表映射、字段映射、数据过滤等。
    8. 完成配置后,保存并启动同步任务。
    2023-07-13 13:42:35
    赞同 展开评论 打赏
  • 走公网可以用公共试一下 可能会被安全拦截 被拦截的话只能用独享 建议是用独享 具体可以参考,打通网络,此回答整理自钉群“DataWorks交流群(答疑@机器人)”

    2023-07-13 11:16:49
    赞同 展开评论 打赏

MaxCompute(原ODPS)是一项面向分析的大数据计算服务,它以Serverless架构提供快速、全托管的在线数据仓库服务,消除传统数据平台在资源扩展性和弹性方面的限制,最小化用户运维投入,使您经济并高效的分析处理海量数据。

相关电子书

更多
搭建电商项目架构连接MySQL 立即下载
搭建4层电商项目架构,实战连接MySQL 立即下载
PolarDB MySQL引擎重磅功能及产品能力盛大发布 立即下载

相关镜像