阿里云云原生数据仓库AnalyticDB对接使用全流程指南

1. 认识云原生数据仓库AnalyticDB

阿里云云原生数据仓库AnalyticDB是一款全托管、实时的分析型数据库服务，支持PB级数据存储与分析，具备高性能、高并发、高可用的特点。它采用云原生技术架构，实现了存储计算分离，计算资源和存储资源可独立扩缩容，计算资源不仅支持手动扩缩容，还可在指定规格范围内自动弹性扩缩容以应对突发业务波动。AnalyticDB提供MySQL和PostgreSQL两个引擎版本，高度兼容各自生态的语法与协议，用户无需学习新的查询语言即可上手。

在架构层面，AnalyticDB MySQL版基于湖仓一体架构，无论是数据湖中的非结构化或半结构化数据，还是数据仓库中的结构化数据，都能统一高效地处理。其底层依赖ECS、ESSD云盘以及OSS，OSS主要用于冷数据存储以降低成本。存储层实现了行列混存，支持不同存储格式，基于Raft的同步层保证了数据的高可用和强一致。计算引擎具备秒级弹性拓展能力，无状态，可任意弹出计算节点，单集群支持2000个以上节点。

AnalyticDB PostgreSQL版则是在Greenplum开源基础上深度优化演进的MPP大规模并行处理数据仓库，支持向量化计算，在Multi-Master架构下完整支持事务处理。它高度兼容PostgreSQL有线协议，可以使用标准的PostgreSQL系列客户端工具和驱动进行连接。两种引擎版本均支持通过DTS、DataWorks等工具实现多种数据源的实时同步与批量导入，支持高并发访问OSS构建数据湖分析。

需要先登录阿里云控制台，点击：阿里云控制台

2. 实例创建与基础配置

使用AnalyticDB的第一步是创建实例。登录云原生数据仓库AnalyticDB控制台，单击页面右上角的“新建实例”进入购买页面，首次使用系统会提示授权创建服务关联角色。

在实例购买页面需要配置以下核心参数：商品类型可选包年包月（适合长期稳定需求）或按量付费（适合短期测试）；地域和可用区建议与需要连接的ECS实例部署在同一地域以实现内网互通；实例资源类型方面，AnalyticDB MySQL版提供存储弹性模式与Serverless模式，Serverless模式无需预估数据量和算力，系统自动根据负载弹性扩缩，特别推荐给初次使用的团队；AnalyticDB PostgreSQL版则提供存储弹性模式和Serverless Pro模式，Serverless Pro基于全新存算分离架构，完全解耦计算与存储，整体性能较上一代Serverless模式提升约2倍；网络配置需选择与业务ECS相同的VPC和交换机，确保内网互通。

实例创建完成后需要配置白名单以确保客户端能够正常连接，将客户端的IP地址或网段添加到实例的白名单中。默认情况下所有IP地址均被禁止访问AnalyticDB集群，在访问前必须将客户端IP地址添加到白名单中。对于VPC内网访问，还需确保安全组规则允许相应的端口通信。

创建数据库账号方面，如果是通过阿里云账号访问只需创建高权限账号；如果是通过RAM用户访问，则需要创建高权限账号和普通账号，并为普通账号授予相应的库表权限，同时将RAM用户绑定到普通账号上。

3. 获取连接信息与客户端对接

连接AnalyticDB需要获取以下关键信息：数据库地址（内网或外网）、端口（MySQL版默认为3306，PostgreSQL版默认为5432）、数据库名称以及登录用户名和密码。这些信息均可在控制台的集群详情页或实例详情页中找到。如果是通过VPC内网连接，需要确保客户端所在的ECS或服务与AnalyticDB实例位于同一VPC下。

3.1 MySQL命令行连接

AnalyticDB MySQL版高度兼容MySQL协议，可通过MySQL命令行工具直接连接。连接语法如下：

mysql -h<adb_url> -P3306 -u<adb_user> -p<adb_password>

其中adb_url为AnalyticDB MySQL集群的连接地址，可通过控制台集群信息页面中的网络信息区域获取。

3.2 JDBC连接示例

AnalyticDB PostgreSQL版兼容PostgreSQL有线协议，可以使用标准的JDBC驱动进行连接。以下是一个完整的JDBC连接示例：

import java.sql.Connection;
import java.sql.DriverManager;
import java.sql.ResultSet;
import java.sql.Statement;
public class ADBConnection {
    public static void main(String[] args) {
        String url = 'jdbc:postgresql://<instance-endpoint>:5432/<database>';
        String user = '<username>';
        String password = '<password>';
        
        try (Connection conn = DriverManager.getConnection(url, user, password);
             Statement stmt = conn.createStatement()) {
            ResultSet rs = stmt.executeQuery('SELECT version()');
            if (rs.next()) {
                System.out.println('Database version: ' + rs.getString(1));
            }
        } catch (Exception e) {
            e.printStackTrace();
        }
    }
}

3.3 Python连接示例

对于AnalyticDB PostgreSQL版，可以使用Python的psycopg2库进行连接：

import psycopg2
conn = psycopg2.connect(
    host='<instance-endpoint>',
    port=5432,
    database='<database>',
    user='<username>',
    password='<password>'
)
cur = conn.cursor()
cur.execute('SELECT version()')
rows = cur.fetchall()
for row in rows:
    print(row)
cur.close()
conn.close()

4. 数据接入方式详解

AnalyticDB for MySQL支持五种数据导入方法：外表导入、DataWorks数据集成、DTS数据传输服务、基于JDBC的程序写入以及数据同步功能。正确的方式选择取决于数据所在位置、数据量大小以及数据迁移频率。

4.1 外表导入

外表可以将存储在外部系统（OSS、HDFS、MaxCompute、RDS、PolarDB等）中的数据映射到AnalyticDB中。AnalyticDB在所有集群节点上并发读取数据，并在作业完成后自动构建索引，这是大规模导入的最高吞吐量选项。以从Tablestore导入数据为例，首先创建外部数据库：

CREATE EXTERNAL database adb_external_db;

然后创建外表映射Tablestore中的表：

CREATE EXTERNAL TABLE IF NOT EXISTS adb_external_db.person (
    id int,
    name string,
    age int
) ENGINE = 'OTS'
TABLE_PROPERTIES = '{
    'mapped_name':'person',
    'location':'https://<instance>.vpc.tablestore.aliyuncs.com'
}'

外表创建成功后，AnalyticDB自动将Tablestore的表数据映射到AnalyticDB表中，可直接通过SELECT查询数据。AnalyticDB MySQL版从V3.1.10.0版本开始支持弹性导入模式，将读取和索引构建都卸载到作业资源组上，对存储节点几乎不产生影响，并发作业数可从常规导入的2个提升至32个。

4.2 DataWorks数据集成

DataWorks提供可视化、零代码的界面来配置各种数据源与AnalyticDB for MySQL之间的数据同步任务。DataWorks是一站式智能大数据开发治理平台，适配MaxCompute、E-MapReduce、Flink、AnalyticDB等数十种大数据和AI计算服务。通过DataWorks的数据集成节点，用户可以图形化配置数据源、目标表、字段映射以及调度周期，适用于小批量、分钟级或小时级的周期性数据同步场景。

4.3 DTS数据传输服务实时同步

数据传输服务DTS支持将RDS MySQL、PolarDB MySQL等关系型数据库实时同步至AnalyticDB MySQL版。DTS提供全量校验和增量校验功能，确保数据同步的源端和目标端之间的数据一致性。对于实时性要求高的场景（秒级延迟），DTS是首选方案。操作时建议在业务低峰期执行数据同步。当单次同步任务的表数量超过5000时，建议拆分待同步的表分批配置多个任务。

4.4 JDBC程序写入

对于日志文件、本地数据或需要自定义预处理流程的场景，可以通过基于JDBC的程序写入数据。使用JDBC程序导入数据时，建议使用批量导入来减少网络和链接开销。以下是使用JDBC批量插入数据的示例：

import java.sql.Connection;
import java.sql.DriverManager;
import java.sql.PreparedStatement;
public class ADBBatchInsert {
    public static void main(String[] args) {
        String url = 'jdbc:mysql://<instance-endpoint>:3306/<database>';
        String user = '<username>';
        String password = '<password>';
        
        String sql = 'INSERT INTO orders (order_id, user_id, amount, create_time) VALUES (?, ?, ?, ?)';
        
        try (Connection conn = DriverManager.getConnection(url, user, password);
             PreparedStatement pstmt = conn.prepareStatement(sql)) {
            conn.setAutoCommit(false);
            
            for (int i = 0; i < 10000; i++) {
                pstmt.setLong(1, i);
                pstmt.setLong(2, i % 1000);
                pstmt.setDouble(3, Math.random() * 1000);
                pstmt.setTimestamp(4, new java.sql.Timestamp(System.currentTimeMillis()));
                pstmt.addBatch();
                
                if (i % 1000 == 0) {
                    pstmt.executeBatch();
                }
            }
            pstmt.executeBatch();
            conn.commit();
        } catch (Exception e) {
            e.printStackTrace();
        }
    }
}

4.5 Zero-ETL无感集成

AnalyticDB for MySQL提供无感集成（Zero-ETL）功能，支持创建RDS for MySQL、PolarDB for MySQL、MongoDB至AnalyticDB for MySQL的数据同步链路。用户无需创建和维护执行ETL的复杂数据管道，仅需选择源端数据和目标端实例即可自动创建实时数据同步链路。Zero-ETL链路不额外收费，可免费实现在AnalyticDB for MySQL中对上游数据进行分析。通过Zero-ETL链路可将多个实例中的数据实时同步至一个AnalyticDB for MySQL集群中，构建全局分析视角。需要注意的是，仅部分地域支持该功能，且集群预留资源ACU总数小于24时可创建1条链路，大于等于24时可创建多条链路。

5. 生态集成方案

AnalyticDB与阿里云生态深度集成，DTS实时同步、Flink流式写入、DataWorks离线调度、Quick BI可视化均为开箱即用。

5.1 与实时计算Flink版集成

AnalyticDB PostgreSQL版可作为Flink SQL作业中的源表（Beta）、维表或结果表使用。通过Flink Connector可实现毫秒级的实时数据写入与分析，适用于实时报表、用户行为分析等场景。

5.2 与Spark计算引擎集成

AnalyticDB MySQL版集成了Spark计算引擎，支持基于Spark SQL查询结构化数据，利用Spark JAR包开发复杂批处理任务，或通过PySpark执行机器学习及数据科学计算。AnalyticDB MySQL支持两种Spark资源组：Job型资源组（按作业运行时间和消耗资源付费，作业完成后释放资源）和Spark Interactive型资源组（常驻资源，适合交互式Spark SQL分析）。

5.3 与Quick BI等BI工具集成

AnalyticDB支持丰富的BI可视化工具，包括Quick BI、Tableau、QlikView、FineBI等。以Quick BI为例，只需在数据源配置中选择AnalyticDB数据源类型，填入连接信息即可快速创建数据集和仪表板。

6. 性能优化实践

6.1 索引策略

索引可以显著加快查询速度，尤其是在处理大规模数据集时。AnalyticDB for MySQL建表时默认全列索引，但构建宽表的全列索引会消耗部分资源，导入数据到宽表时建议使用主键索引。主键索引用于去重，主键列数过多会影响去重性能。AnalyticDB for PostgreSQL支持三种索引类型，可通过索引加速基于过滤条件扫描小部分表的查询。

6.2 排序键与粗糙索引

排序键让AnalyticDB for PostgreSQL在表扫描期间跳过大量磁盘块，大幅缩减范围限制查询的响应时间。AnalyticDB for PostgreSQL以列式存储数据于磁盘块中，每个块记录每列的最小值和最大值，形成粗糙集索引结构。

6.3 分布键与查询对齐

AnalyticDB for MySQL将数据分布在各节点上，SQL性能高度依赖于查询与数据分布的对齐程度。合理选择分布键可以避免数据跨节点 shuffle，显著提升查询效率。

6.4 资源组隔离

通过资源组可以实现计算资源的隔离与灵活弹性，将不同类型的负载（如ETL作业与交互式查询）分配到不同的资源组中，避免相互干扰。

7. 安全管理与监控告警

7.1 RAM权限管理

RAM用户默认没有任何权限，需要阿里云账号通过绑定权限策略为其授予访问和管理资源的权限。通过自定义权限策略，可以实现精细化的权限控制，例如授予RAM用户管理特定集群IP白名单的权限而不授予其他集群管理权限。

7.2 白名单安全策略

默认禁止所有IP地址访问AnalyticDB for MySQL集群，在访问前需将客户端IP地址添加到白名单中。白名单支持设置IP地址或IP地址段，也支持VPC内网的安全组规则。

7.3 云监控告警

AnalyticDB与阿里云云监控集成，实时收集云资源状态、ECS资源使用情况、网站性能和业务异常等数据。通过云监控可以设置监控报警规则，系统在监控数据满足条件时通知报警联系组中的所有联系人。用户可在AnalyticDB控制台的监控报警页面或云监控控制台中配置告警规则。

8. 总结

阿里云云原生数据仓库AnalyticDB通过存算分离架构、MPP并行处理引擎以及丰富的生态集成能力，为企业提供了高性能、低成本的数据分析解决方案。从实例创建、网络配置、数据接入到性能优化与安全管理，本文系统梳理了AnalyticDB对接使用的全流程，并结合大量代码示例帮助读者快速上手实践。在实际生产环境中，建议根据数据源类型、数据量大小、实时性要求等因素综合选择数据接入方式，同时充分利用索引、资源组隔离等性能优化手段，配合RAM权限管理与云监控告警构建安全可靠的数据分析平台。

常见问题问答

问：AnalyticDB MySQL版和PostgreSQL版应该如何选择？

答：如果您的业务数据主要来自MySQL生态、希望高度兼容MySQL语法和协议，建议选择AnalyticDB MySQL版；如果您的业务需要兼容PostgreSQL生态、使用PL/SQL存储过程或PostGIS等扩展功能，建议选择AnalyticDB PostgreSQL版。

问：数据导入时遇到性能瓶颈该如何排查？

答：首先检查客户端侧是否存在性能瓶颈，确保数据处理速度与消费速度同步。其次检查建表时是否使用了合适的索引策略，宽表场景建议使用主键索引而非全列索引。对于大规模导入，建议使用外表导入并启用弹性导入模式。

问：Zero-ETL和DTS实时同步有什么区别？

答：Zero-ETL是AnalyticDB MySQL版提供的无感集成功能，无需额外付费，在控制台选择源端和目标端即可自动创建同步链路。DTS是独立的数据传输服务，支持更丰富的数据源类型和更灵活的同步配置。Zero-ETL链路数受集群规格限制，而DTS无此限制。

问：如何实现AnalyticDB的高可用？

答：AnalyticDB底层基于Raft协议保证数据的高可用和强一致，每个Shard包含两个数据副本和一个日志副本。在实例创建时建议选择高可用版实例系列，适用于企业核心业务场景。

问：AnalyticDB支持哪些客户端连接方式？

答：AnalyticDB MySQL版支持MySQL命令行、JDBC、ODBC以及各种MySQL兼容客户端。AnalyticDB PostgreSQL版支持JDBC、ODBC、libpq、psql以及Python的psycopg2等标准接口。

问：如何控制AnalyticDB的使用成本？

答：建议根据业务负载选择Serverless模式，系统自动弹性扩缩容，无需预置资源。冷热数据分层存储，将低频访问数据存储在OSS上以降低存储成本。对于AnalyticDB PostgreSQL版，存储弹性模式支持独立磁盘扩容和在线平滑扩容，可按需调整规格。