大数据计算服务(MaxCompute,原名ODPS)是一种快速、完全托管的TB/PB级数据仓库解决方案。MaxCompute向用户提供了完善的数据导入方案以及多种经典的分布式计算模型,能够更快速的解决用户海量数据计算问题,有效降低企业成本,并保障数据安全。通过数据集成服务,可将 RDS 数据导入 MaxCompute,实现大规模的数据计算。下面以 MaxCompute 和 RDS 搭配为例介绍大数据计算方案。
前提条件
- 已开通 MaxCompute 服务,并完成项目设置
- 已开通数据集成服务
操作步骤
登录 RDS 管理控制台,选择目标实例。
在 RDS 实例上增加数据集成的白名单。[backcolor=transparent] CDP [backcolor=transparent]白名单:[backcolor=transparent] - [backcolor=transparent] [backcolor=transparent]10.152[backcolor=transparent].[backcolor=transparent]69.0[backcolor=transparent]/[backcolor=transparent]25[backcolor=transparent]
- [backcolor=transparent] [backcolor=transparent]10.153[backcolor=transparent].[backcolor=transparent]136.0[backcolor=transparent]/[backcolor=transparent]25[backcolor=transparent]
- [backcolor=transparent] [backcolor=transparent]10.143[backcolor=transparent].[backcolor=transparent]32.77[backcolor=transparent]
- [backcolor=transparent] [backcolor=transparent]10.143[backcolor=transparent].[backcolor=transparent]32.78
登录
MaxCompute 管理控制台,创建 MaxCompute 数据表。
更多 MaxCompute 操作请参见
大数据计算服务 MaxCompute 产品文档。
登录
数据集成管理控制台,设置 RDS 源库和 MaxCompute 目标库信息。
更多数据集成操作请参见
数据集成 产品文档。
设置数据集成同步字段。
设置数据集成速度与出错控制。
完成设置后,将数据导入 MaxCompute。
登录
MaxCompute 管理控制台,执行查询操作,如下图所示。