阿里云MaxCompute云原生大数据计算服务全方位对接使用指南

引言：为什么需要掌握MaxCompute的多种对接方式

云原生大数据计算服务MaxCompute是阿里云自主研发的、面向分析的企业级SaaS模式云数据仓库，以Serverless架构提供快速、全托管的在线数据仓库服务。它消除了传统数据平台在资源扩展性和弹性方面的限制，让用户能够以极低的运维投入处理PB级海量数据。然而，在实际生产环境中，不同角色、不同场景对MaxCompute的访问需求各不相同——数据开发人员需要高效的命令行工具进行日常运维，数据同步工程师需要稳定可靠的集成通道将业务数据导入数仓，应用开发者需要通过编程接口将MaxCompute的计算能力嵌入业务系统，而数据分析师则希望用熟悉的BI工具直接查询数仓数据。系统性地掌握MaxCompute的多种对接方式，是每一个大数据从业者的必修课。本文将从基础概念出发，逐一讲解MaxCompute的六大核心对接路径，每种方式均配有详细的配置步骤和代码示例。

一、MaxCompute基础概念与准备工作

1.1 理解MaxCompute的核心组件

在深入对接之前，有必要厘清MaxCompute的几个核心概念。Project（项目空间）是MaxCompute的基本组织单元，类似于传统数据库中的Database，所有的表、资源、函数和任务都在Project范围内进行管理。Table（表）是数据存储的基本结构，支持分区表和内部表两种主要形态。Endpoint是MaxCompute服务的访问入口，客户端、SDK或API在连接服务时都必须指定Endpoint。Endpoint的选择取决于地域和网络类型——如果客户端运行在阿里云VPC内（如ECS实例），应使用VPC Endpoint以获得更安全稳定的连接；如果客户端位于阿里云外部（如本地开发机），则需要使用公网Endpoint。MaxCompute会自动解析对应的公网Tunnel Endpoint用于数据传输。

1.2 开通服务与创建项目

使用MaxCompute的第一步是开通服务并创建项目空间。登录阿里云控制台后，在产品列表中找到“大数据计算服务 MaxCompute”，按提示完成开通。新用户通常可以享受一定的免费试用额度。开通后，在MaxCompute控制台选择目标地域，点击“创建项目”，填写项目名称并选择合适的计算资源规格即可完成创建。

需要先登录阿里云控制台，点击：阿里云控制台

1.3 准备访问密钥

无论是使用命令行工具、SDK还是API，都需要通过AccessKey进行身份认证。AccessKey由AccessKey ID和AccessKey Secret组成，是阿里云用户的身份标识和认证密钥。强烈建议不要直接使用主账号的AccessKey，而应在RAM控制台创建专用的RAM用户，并为其授予最小必要权限。将AccessKey保存在环境变量中而非硬编码在代码里，是避免密钥泄露的安全基线做法。

二、命令行客户端odpscmd：最轻量的对接方式

2.1 odpscmd概述

MaxCompute本地客户端odpscmd是命令行交互工具，适用于命令行操作场景，可在本地直接运行，高效执行命令并管理项目。它是MaxCompute提供的最轻量级的对接方式，适合数据开发人员日常运维和数据探查工作。

2.2 安装与配置

下载MaxCompute客户端并解压。确保机器上已安装JRE 1.7或以上版本。编辑conf/odps_config.ini文件进行配置：

# access_id和access_key是用户的云账号AccessKey信息

access_id=您的AccessKey ID

access_key=您的AccessKey Secret

# 指定用户想进入的项目空间

project_name=my_project

# MaxCompute服务的访问链接

end_point=https://service.odps.aliyun.com/api

# MaxCompute Tunnel服务的访问链接

tunnel_endpoint=https://dt.odps.aliyun.com

# 作业LogView地址

log_view_host=http://logview.odps.aliyun.com

# 决定是否开启HTTPS访问

https_check=true

odps_config.ini文件中使用#作为注释，MaxCompute客户端内使用--作为注释。运行bin/odpscmd.bat（Windows）或bin/odpscmd（Linux/macOS），输入show tables;。如果显示当前MaxCompute项目中的表，则表示上述配置正确。

2.3 常用命令示例

通过odpscmd可以执行SQL查询、管理表、上传下载数据等操作。常用命令包括：

-- 查看当前项目中的所有表

show tables;

-- 查看表结构

desc table_name;

-- 执行SQL查询

select * from table_name limit 10;

-- 创建表

create table if not exists test_table (id bigint, name string) partitioned by (dt string);

-- 通过Tunnel上传数据

tunnel upload data.txt test_table/dt=20260101;

-- 通过Tunnel下载数据

tunnel download test_table/dt=20260101 data.txt;

三、DataWorks数据集成：企业级数据同步通道

3.1 DataWorks与MaxCompute的集成关系

DataWorks是阿里云提供的一站式数据开发与治理平台，为MaxCompute提供数据集成、数据开发、数据管理和数据运维等功能。DataWorks的数据集成是MaxCompute最重要的数据接入通道之一，支持将源数据库中的全部或部分表结构与数据批量、周期性地进行全量或增量同步至目标端。

3.2 配置MaxCompute数据源

在DataWorks中配置MaxCompute数据源是使用数据集成功能的前提。登录DataWorks控制台，切换至目标地域后，单击左侧导航栏的“数据集成”，在下拉框中选择对应工作空间后单击进入数据集成。在左侧导航栏单击“数据源”，然后单击“新增数据源”。在阿里云数据库页签下，选择MaxCompute数据源。配置连接对话框需要填写以下信息：

• 项目名称：MaxCompute项目名称
  
• Endpoint：连接MaxCompute项目的URL，推荐采用“云产品互联Endpoint”连接，避免在公网访问中可能产生的额外费用
  
• AccessKey ID和AccessKey Secret
  

3.3 创建同步任务

配置好数据源后，即可创建数据同步任务。以MySQL整库迁移至MaxCompute为例：

• 在数据集成页面点击“新建同步任务”
  
• 选择来源数据源（如MySQL）和目标数据源（MaxCompute）
  
• 配置字段映射关系
  
• 设置同步策略（全量同步或增量同步）
  
• 配置调度周期（如每天凌晨同步一次）
  
• 保存并提交任务
  

DataWorks的数据集成支持多种数据源之间的同步，包括RDS迁移至MaxCompute实现动态分区、Hologres数据同步至MaxCompute、MaxCompute数据迁移至表格存储OTS等。

四、Java SDK：编程接入的核心接口

4.1 Java SDK概述

Java SDK是MaxCompute提供的一套Java编程语言接口，可以通过该接口使用Java代码来操作和管理MaxCompute服务，例如访问和管理项目、操作数据表、数据传输及函数管理等。使用SDK调用MaxCompute产生的计算、存储等费用与直接使用MaxCompute产生的费用一致。

4.2 Maven依赖配置

通过Maven管理配置SDK的版本：

<dependency>

   <groupId>com.aliyun.odps</groupId>

   <artifactId>odps-sdk-core</artifactId>

   <version>0.27.2-public</version>

</dependency>

0.27.2-public版本及以上才支持MaxCompute 2.0新数据类型。MaxCompute提供的SDK包整体信息如下：

• odps-sdk-core：基础功能，包括对表、项目的操作及Tunnel
  
• odps-sdk-commons：一些Util封装
  
• odps-sdk-udf：UDF功能的主体接口
  
• odps-sdk-mapred：MapReduce功能
  
• odps-sdk-graph：Graph Java SDK
  

4.3 初始化ODPS客户端

通过传入AliyunAccount实例来构造MaxCompute对象：

import com.aliyun.odps.Odps;

import com.aliyun.odps.account.AliyunAccount;

import com.aliyun.odps.Table;

// 强烈建议不要把AccessKey和AccessKeySecret保存到代码里，会存在密钥泄漏风险

Account account = new AliyunAccount(

   System.getenv("ALIBABA_CLOUD_ACCESS_KEY_ID"),

   System.getenv("ALIBABA_CLOUD_ACCESS_KEY_SECRET")

);

Odps odps = new Odps(account);

String odpsUrl = "https://service.cn-hangzhou.maxcompute.aliyun.com/api";

odps.setEndpoint(odpsUrl);

odps.setDefaultProject("my_project");

// 遍历项目中的所有表

for (Table t : odps.tables()) {

   System.out.println(t.getName());

}

AliyunAccount是阿里云认证账号，输入参数为AccessKey ID及AccessKey Secret。

4.4 数据读写操作

MaxCompute Tunnel是基于Tunnel SDK编写的数据通道，支持通过Tunnel向MaxCompute表中上传或者下载数据。Java SDK提供了三种下载表数据的方法：

• TableTunnel：用于批量分区下载
  
• InstanceTunnel：通过Instance ID获取SQL查询结果
  
• SQLTask.getResultSet()：用于轻量级结果迭代，无需显式会话管理
  

import com.aliyun.odps.tunnel.TableTunnel;

import com.aliyun.odps.tunnel.TunnelException;

// 创建Tunnel客户端

TableTunnel tunnel = new TableTunnel(odps);

// 设置Tunnel Endpoint

tunnel.setEndpoint("https://dt.cn-hangzhou.maxcompute.aliyun.com");

// 读取表数据

TableTunnel.DownloadSession session = tunnel.createDownloadSession(

   "my_project", "my_table"

);

long count = session.getRecordCount();

TableTunnel.RecordReader reader = session.openRecordReader(0, count);

Record record;

while ((record = reader.read()) != null) {

   System.out.println(record.getBigint(0) + ", " + record.getString(1));

}

reader.close();

五、PyODPS：Python开发者的首选

5.1 PyODPS概述

PyODPS是MaxCompute的Python SDK，能够方便地使用Python语言与MaxCompute进行交互和数据处理。通过该SDK，可以更高效地开发MaxCompute任务、进行数据分析和管理MaxCompute资源。PyODPS兼容Python 2（2.6以上版本）和Python 3版本。PyODPS DataFrame允许使用类似pandas的API查询和转换MaxCompute表，无需编写原始SQL。

5.2 安装与初始化

安装PyODPS前需要安装Python 3.6或以上版本：

pip install pyodps

通过指定access_id、access_key、project和endpoint来建立连接：

from odps import ODPS

# 强烈建议使用环境变量存储AccessKey，避免硬编码

o = ODPS(

   access_id='您的AccessKey ID',

   secret_access_key='您的AccessKey Secret',

   project='my_project',

   endpoint='https://service.cn-hangzhou.maxcompute.aliyun.com/api'

)

# 查看当前项目中的所有表

for table in o.list_tables():

   print(table.name)

5.3 使用PyODPS执行SQL

PyODPS提供对MaxCompute SQL的基本操作方法：

# 执行SQL查询

result = o.execute_sql('SELECT * FROM my_table LIMIT 10')

# 获取结果

with result.open_reader() as reader:

   for record in reader:

       print(record)

# 使用DataFrame API进行数据处理

from odps.df import DataFrame

df = DataFrame(o.get_table('my_table'))

# 过滤和聚合

filtered = df[df.age > 18]

result = filtered.groupby('city').agg({'age': 'mean'})

result.execute()

如果需要使用STS Token访问MaxCompute，也可以创建ODPS入口对象。

六、JDBC驱动：打通BI工具生态

6.1 JDBC驱动概述

MaxCompute JDBC驱动让任何支持JDBC标准的Java应用程序或BI工具都能连接MaxCompute。通过MaxCompute JDBC驱动执行SQL并获取结果，需要执行账号是项目空间的成员。MaxCompute支持通过数据库管理工具DataGrip访问MaxCompute项目，也支持ETL工具Kettle实现MaxCompute作业调度。

6.2 Maven依赖配置

通过Maven方式使用MaxCompute JDBC的POM示例如下：

<dependency>

   <groupId>com.aliyun.odps</groupId>

   <artifactId>odps-jdbc</artifactId>

   <version>3.9.0</version>

</dependency>

6.3 JDBC连接示例

JDBC URL格式为：

jdbc:odps:https://service.cn-hangzhou.maxcompute.aliyun.com/api?project=my_project&accessId=您的AccessKey ID&accessKey=您的AccessKey Secret

Java代码连接示例：

import java.sql.Connection;

import java.sql.DriverManager;

import java.sql.ResultSet;

import java.sql.Statement;

public class MaxComputeJDBCDemo {

   public static void main(String[] args) throws Exception {

       String url = "jdbc:odps:https://service.cn-hangzhou.maxcompute.aliyun.com/api?project=my_project";

       String accessId = System.getenv("ALIBABA_CLOUD_ACCESS_KEY_ID");

       String accessKey = System.getenv("ALIBABA_CLOUD_ACCESS_KEY_SECRET");

       

       Connection conn = DriverManager.getConnection(url, accessId, accessKey);

       Statement stmt = conn.createStatement();

       ResultSet rs = stmt.executeQuery("SELECT * FROM my_table LIMIT 10");

       

       while (rs.next()) {

           System.out.println(rs.getString(1) + ", " + rs.getString(2));

       }

       

       rs.close();

       stmt.close();

       conn.close();

   }

}

6.4 BI工具集成

JDBC驱动使得MaxCompute可以与众多BI工具无缝集成：

• DataGrip：将MaxCompute JDBC驱动JAR包添加至DataGrip，后续DataGrip可通过该驱动访问MaxCompute项目。在DataGrip中配置连接时，Class选择com.aliyun.odps.jdbc.OdpsDriver。
  
• Kettle：将MaxCompute JDBC驱动放置于Kettle的驱动目录data-integration/lib下。连接类型选择Generic database，连接方式选择Native (JDBC)，Dialect选择Hadoop Hive 2。
  
• Yonghong BI：Yonghong Desktop v9.2.2已内置MaxCompute JDBC驱动。URL格式为jdbc:odps:<MaxCompute_endpoint>?project=<MaxCompute_project_name>。
  
• Tableau：将MaxCompute JDBC驱动放置于Tableau Desktop的驱动目录下即可。
  

七、开放存储Storage API：多引擎融合的桥梁

7.1 Storage API概述

为了更好地融入大数据生态，并支持外部引擎访问MaxCompute中的数据，MaxCompute提供了开放存储（Storage API）。第三方主流计算引擎（如Spark on EMR、StarRocks、Presto、PAI和Hologres）可通过调用Storage API直接访问MaxCompute数据。Storage API可应用于数据开放与多引擎计算场景，当企业或开发人员需要在不同的计算架构间灵活切换，或者利用特定引擎的特性处理MaxCompute中的数据时，Storage API可以作为桥梁促进数据流通和处理的多样化。

7.2 启用Storage API

在MaxCompute控制台的“租户管理”->“租户属性”页面打开开放存储（Storage API）开关。在“租户管理”->“新增成员”给相应用户授予“admin”权限，或精细授予用户Quota的使用权限。

7.3 Java SDK访问示例

使用Java SDK访问MaxCompute的主要接口包括创建读表会话等：

import com.aliyun.odps.Odps;

import com.aliyun.odps.account.AliyunAccount;

import com.aliyun.odps.storage.StorageApiClient;

import com.aliyun.odps.storage.StorageApiReader;

// 初始化ODPS客户端

Account account = new AliyunAccount(

   System.getenv("ALIBABA_CLOUD_ACCESS_KEY_ID"),

   System.getenv("ALIBABA_CLOUD_ACCESS_KEY_SECRET")

);

Odps odps = new Odps(account);

odps.setEndpoint("https://service.cn-hangzhou.maxcompute.aliyun.com/api");

odps.setDefaultProject("my_project");

// 创建Storage API客户端

StorageApiClient client = new StorageApiClient(odps);

// 创建读表会话

StorageApiReader reader = client.createReader("my_table");

// 读取数据

while (reader.hasNext()) {

   Object[] row = reader.next();

   System.out.println(Arrays.toString(row));

}

reader.close();

MaxCompute开放存储还支持Spark通过Connector调用Storage API直接读取MaxCompute的数据。在使用MaxCompute Storage API写入数据时，不会对数据进行计算或加工处理（如Map数据去重）。

八、外部表：无缝连接外部数据源

8.1 外部表概述

只需通过一条简单的DDL语句，即可在MaxCompute上创建一张外部表，建立MaxCompute表与外部数据源的关联。MaxCompute表是结构化的数据，而外部表可以不限于结构化数据。外部表功能使得MaxCompute可以直接访问存储在OSS、表格存储（Table Store）等外部服务中的数据，无需先将数据导入MaxCompute内部存储。

8.2 访问表格存储示例

使用MaxCompute访问表格存储前需要完成以下准备工作：

• 创建AccessKey
  
• 在RAM控制台授权MaxCompute访问表格存储的权限
  
• 在表格存储控制台创建实例和数据表
  

创建外部表关联到表格存储的某张表：

CREATE EXTERNAL TABLE IF NOT EXISTS ots_vehicle_track (

   vid BIGINT,

   gt BIGINT,

   -- 其他列

)

STORED BY 'com.aliyun.odps.tablestore.TableStoreStorageHandler'

WITH SERDEPROPERTIES (

   'tablestore.instance.name'='cap1',

   'tablestore.table.name'='vehicle_track',

   'tablestore.access.id'='${access_id}',

   'tablestore.access.key'='${access_key}',

   'tablestore.endpoint'='https://cap1.cn-hangzhou.ots-internal.aliyuncs.com'

);

使用MaxCompute访问表格存储时，建议使用表格存储的私网地址。表格存储与MaxCompute都有其自身的类型系统，两者之间的类型对应关系为：STRING对应STRING、INTEGER对应BIGINT、DOUBLE对应DOUBLE、BOOLEAN对应BOOLEAN、BINARY对应BINARY。

九、安全与权限管理

9.1 RAM权限控制

使用MaxCompute的各种对接方式时，安全是首要考虑的问题。强烈建议创建并使用RAM用户进行API访问或日常运维，不要直接使用主账号AccessKey。在RAM控制台可以为不同用户授予不同级别的权限，实现最小权限原则。

9.2 网络访问控制

Endpoint的选择直接影响安全性和费用。如果客户端运行在阿里云VPC内（如ECS实例），应使用VPC Endpoint以获得更安全稳定的连接；如果客户端位于阿里云外部，则需要使用公网Endpoint。对于表格存储等外部数据源，建议使用私网地址进行访问。

十、最佳实践与性能优化

10.1 Endpoint选择策略

正确选择Endpoint是优化性能和成本的关键。各地域的Endpoint信息可以在MaxCompute官方文档中查询。对于同地域的ECS实例访问MaxCompute，使用VPC Endpoint可以免去公网流量费用，同时获得更低的网络延迟。

10.2 数据上传下载优化

MaxCompute提供了多种数据上传下载的通道支持，方便在各种场景下进行技术方案选型。对于大批量数据，推荐使用Tunnel通道进行批量传输。对于实时性要求较高的场景，可以考虑使用JDBC或SDK方式进行数据操作。

10.3 成本控制建议

MaxCompute以Serverless架构提供按量计费服务。主要费用来源于计算资源消耗和存储空间占用。建议：

• 合理设计分区表，避免全表扫描
  
• 使用生命周期管理自动清理过期数据
  
• 对于低频访问的数据，考虑转换为低频存储或归档存储
  
• 尽量使用同地域内网访问，避免公网流量费用
  

结语

本文系统介绍了阿里云MaxCompute的六大核心对接路径：命令行客户端odpscmd、DataWorks数据集成、Java SDK、PyODPS Python SDK、JDBC驱动以及开放存储Storage API。每种方式都有其适用的场景——odpscmd适合轻量级运维和快速查询，DataWorks数据集成是企业级数据同步的首选，Java SDK和PyODPS为开发者提供了编程接入的灵活性，JDBC驱动打通了BI工具生态，而Storage API则为多引擎融合提供了桥梁。在实际生产环境中，往往需要根据具体需求组合使用多种对接方式。希望本文能帮助数据工程师快速掌握MaxCompute的接入方法，并高效运用于生产环境。

常见问题解答

问1：MaxCompute和ODPS是什么关系？

答：ODPS（Open Data Processing Service）是MaxCompute的曾用名，两者指代的是同一个产品——阿里云云原生大数据计算服务。在阿里云控制台和文档中，ODPS和MaxCompute有时会混用，但本质上它们是同一款产品。

问2：使用PyODPS时，如何避免AccessKey硬编码在代码中？

答：强烈建议将AccessKey ID和AccessKey Secret保存在环境变量中，通过System.getenv()（Java）或os.environ（Python）读取。也可以使用配置文件存储，但需要确保配置文件不被提交到版本控制系统。

问3：MaxCompute JDBC驱动无法连接项目时如何排查？

答：首先检查JDBC URL格式是否正确，确保project参数填写的是MaxCompute项目名称而非DataWorks工作空间名称。其次确认账号是项目空间的成员且有相应权限。如果使用默认驱动无法连接，可以尝试下载最新版本的JDBC驱动JAR包。

问4：DataWorks数据集成同步任务报网络不通怎么办？

答：在配置同步任务前，需要确保数据集成资源组与数据源的网络环境已经连通。如果使用公网Endpoint连接，需要关闭白名单限制。推荐采用“云产品互联Endpoint”连接以避免公网访问中可能产生的额外费用。

问5：开放存储Storage API和Tunnel通道有什么区别？

答：Tunnel通道是MaxCompute原生的批量数据上传下载通道，适合大规模数据的导入导出。Storage API则是面向第三方计算引擎的开放接口，让Spark、Presto等外部引擎可以直接访问MaxCompute中的数据。Storage API写入数据时不会对数据进行计算或加工处理。

问6：MaxCompute外部表支持哪些外部数据源？

答：MaxCompute外部表支持多种外部数据源，包括表格存储（Table Store）、OSS对象存储、Hive等。通过外部表功能，可以直接查询外部数据源中的数据而无需先将数据导入MaxCompute内部存储，极大提升了数据接入的灵活性。