开发者社区> 问答> 正文

基于MaxCompute的大数据计算


大数据计算服务(MaxCompute,原名ODPS)是一种快速、完全托管的TB/PB级数据仓库解决方案。MaxCompute向用户提供了完善的数据导入方案以及多种经典的分布式计算模型,能够更快速的解决用户海量数据计算问题,有效降低企业成本,并保障数据安全。通过数据集成服务,可将 RDS 数据导入 MaxCompute,实现大规模的数据计算。下面以 MaxCompute 和 RDS 搭配为例介绍大数据计算方案。

前提条件

  • 已开通 MaxCompute 服务,并完成项目设置
  • 已开通数据集成服务


操作步骤


  1. 登录 RDS 管理控制台,选择目标实例。

  2. 在 RDS 实例上增加数据集成的白名单。[backcolor=transparent] CDP [backcolor=transparent]白名单:[backcolor=transparent]    
  3. [backcolor=transparent] [backcolor=transparent]10.152[backcolor=transparent].[backcolor=transparent]69.0[backcolor=transparent]/[backcolor=transparent]25[backcolor=transparent]  
  4. [backcolor=transparent] [backcolor=transparent]10.153[backcolor=transparent].[backcolor=transparent]136.0[backcolor=transparent]/[backcolor=transparent]25[backcolor=transparent]  
  5. [backcolor=transparent] [backcolor=transparent]10.143[backcolor=transparent].[backcolor=transparent]32.77[backcolor=transparent]  
  6. [backcolor=transparent] [backcolor=transparent]10.143[backcolor=transparent].[backcolor=transparent]32.78

登录 MaxCompute 管理控制台,创建 MaxCompute 数据表。
更多 MaxCompute 操作请参见 大数据计算服务 MaxCompute 产品文档

登录 数据集成管理控制台,设置 RDS 源库和 MaxCompute 目标库信息。
更多数据集成操作请参见 数据集成 产品文档

设置数据集成同步字段。

设置数据集成速度与出错控制。

完成设置后,将数据导入 MaxCompute。
登录 MaxCompute 管理控制台,执行查询操作,如下图所示。

展开
收起
云栖大讲堂 2017-10-18 14:09:51 1829 0
0 条回答
写回答
取消 提交回答
问答排行榜
最热
最新

相关电子书

更多
大数据AI一体化的解读 立即下载
极氪大数据 Serverless 应用实践 立即下载
大数据&AI实战派 第2期 立即下载