AI 助理
文档备案控制台
开发者社区 云存储 技术博文 文章 正文

还在自建 Hive Metastore？Spark 直连 OSS Tables 就能跑 Iceberg 【详解 OSS Tables 系列】

2026-08-17 31
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介： 本文详解Spark对接OSS Tables数据湖的极简方案：无需自建Hive Metastore，原生兼容Iceberg REST Catalog协议，仅需配置JAR包、凭证及Catalog参数，即可通过标准SQL完成建表、读写、分区、Time Travel等全功能操作。

一个老问题：Spark 读数据湖，到底需要几个组件

在 OSS Tables 的生态里，Spark 是全能主力，从建表、批量 ETL 到复杂分析都能做。但真动手的时候，你会发现“把数据存进去”和“让 Spark 能查出来”之间，还隔着不少工程活。

最典型的就是元数据管理。Spark 要读写湖里的表，需要一个 Catalog 服务来记录“哪些表存在、Schema 是什么、数据文件在哪”。传统方案是搭一套 Hive Metastore，配一个关系型数据库做后端。这套组合能跑，但运维成本高，而且每多一个组件就多一层故障面。

OSS Tables 做的事情很直接。它原生兼容 Apache Iceberg REST Catalog 协议，Spark 通过标准 Iceberg 客户端就能直连，不需要额外部署任何 Catalog 服务。建表、查询、写入、Time Travel，都是标准 SQL，代码里改一行 Catalog 配置就行。

这意味着：你的数据已经在 OSS 上了，Spark 只需要“接上” OSS Tables，就能组成完整的数据仓库解决方案。

下面用一个完整的端到端示例，演示如何用 Spark 接入 OSS Tables，完成建表、数据写入和时间旅行查询。

前提条件

  • 已安装Spark 3.5及以上版本，且Java版本为11或以上。
  • 已创建OSS Tables的Table Bucket。如未创建，请参见OSS Tables。

步骤一：环境准备

下载依赖JAR包

将以下 JAR 包放入$SPARK_HOME/jars目录，或在启动时通过--jars参数指定。

JAR 包

说明

iceberg-spark-runtime-3.5_2.12-1.10.1.jar

Iceberg Spark Runtime 包，提供 Iceberg 的Spark集成能力。请根据Spark版本选择对应的包（如 Spark 3.5 对应iceberg-spark-runtime-3.5_2.12）。

iceberg-aws-bundle-1.10.1.jar

Iceberg AWS 集成包，提供 S3FileIO 实现及REST Catalog sigv4 签名认证所需的 AWS SDK。版本需与 Runtime 包一致。

配置环境变量

Iceberg REST Catalog 使用 sigv4 签名认证，S3FileIO 访问数据面也需要凭证。推荐通过环境变量统一传递，在启动 Spark 之前设置以下环境变量：

说明

环境变量名使用 AWS_ 前缀，是因为 Iceberg 的 sigv4 签名模块和 S3FileIO 复用 AWS SDK 的标准凭证链。实际填入的是您阿里云账号的 AccessKey ID 和 AccessKey Secret。

export AWS_ACCESS_KEY_ID=<阿里云AccessKey ID>
export AWS_SECRET_ACCESS_KEY=<阿里云AccessKey Secret>
export AWS_REGION=<地域，例如cn-hangzhou>
# 可选，使用STS临时凭证时配置
export AWS_SESSION_TOKEN=<阿里云STS TOKEN>

重要：使用环境变量方式时，必须确保 Driver 和 Executor 都能读取到这些环境变量。在 YARN 模式下需要在集群各节点上注入环境变量；在 Kubernetes 模式下需要在 Pod 中注入。如果无法满足此条件，建议使用下方的 Spark 配置项方式显式指定凭证。

配置Spark 配置项

除了通过环境变量传递凭证外，也可以在 PySpark 或 Spark SQL 中通过 Spark Catalog 相关配置项显式传递凭证。该方式更适用于多 Catalog 场景，或不便设置环境变量的情况。

# S3FileIO数据面凭证
spark.sql.catalog.oss_tables.s3.access-key-id=<阿里云AccessKey ID>
spark.sql.catalog.oss_tables.s3.secret-access-key=<阿里云AccessKey Secret>
spark.sql.catalog.oss_tables.client.region=<地域，例如cn-hangzhou>
# 可选，使用STS临时凭证时配置
spark.sql.catalog.oss_tables.s3.session-token=<阿里云STS TOKEN>
# REST Catalog签名凭证
spark.sql.catalog.oss_tables.rest.access-key-id=<阿里云AccessKey ID>
spark.sql.catalog.oss_tables.rest.secret-access-key=<阿里云AccessKey Secret>
spark.sql.catalog.oss_tables.rest.signing-region=<地域，例如cn-hangzhou>
# 可选，使用STS临时凭证时配置
spark.sql.catalog.oss_tables.rest.session-token=<阿里云STS TOKEN>

步骤二：配置Spark连接

  • OSS Tables提供Iceberg REST Catalog端点，Spark通过该端点管理表元数据。Endpoint格式如下：
  • OSS Tables 提供S3FileIO访问OSS数据面使用的访问端点，Spark 通过该端点访问表数据。Endpoint格式如下：

说明：io-impl 请勿配置为 org.apache.iceberg.hadoop.HadoopFileIO。

Iceberg 的设计理念是去 List 化，OSS Table Bucket 作为面向 Iceberg 深度优化的存储类型，禁止 List 操作。HadoopFileIO 基于对象存储的文件语义实现，为兼容通用场景会触发 List 操作，因此不适用于 OSS Table Bucket 的数据访问。

通过PySpark启动

以下示例以 Table Bucket 名称 my-data-lake、地域 cn-hangzhou 为例,对应的 Table Bucket ARN 为 acs:osstables:cn-hangzhou:{accountId}:bucket/my-data-lake。

from pyspark.sql import SparkSession
spark = SparkSession.builder \
    .appName("OSS Tables Demo") \
    .config("spark.jars", "/path/to/iceberg-spark-runtime-3.5_2.12-1.10.1.jar,"
            "/path/to/iceberg-aws-bundle-1.10.1.jar") \
    .config("spark.sql.extensions", "org.apache.iceberg.spark.extensions.IcebergSparkSessionExtensions") \
    .config("spark.sql.catalog.oss_tables", "org.apache.iceberg.spark.SparkCatalog") \
    .config("spark.sql.catalog.oss_tables.catalog-impl", "org.apache.iceberg.rest.RESTCatalog") \
    .config("spark.sql.catalog.oss_tables.uri", "https://cn-hangzhou-internal.oss-tables.aliyuncs.com/iceberg") \
    .config("spark.sql.catalog.oss_tables.warehouse", "acs:osstables:cn-hangzhou:{accountId}:bucket/my-data-lake") \
    .config("spark.sql.catalog.oss_tables.rest.sigv4-enabled", "true") \
    .config("spark.sql.catalog.oss_tables.rest.signing-region", "cn-hangzhou") \
    .config("spark.sql.catalog.oss_tables.rest.signing-name", "osstables") \
    .config("spark.sql.catalog.oss_tables.io-impl", "org.apache.iceberg.aws.s3.S3FileIO") \
    .config("spark.sql.catalog.oss_tables.s3.endpoint", "https://oss-cn-hangzhou-internal.aliyuncs.com") \
    .getOrCreate()

通过spark-sql启动

spark-sql \
  --jars /path/to/iceberg-spark-runtime-3.5_2.12-1.10.1.jar,/path/to/iceberg-aws-bundle-1.10.1.jar \
  --conf spark.sql.extensions=org.apache.iceberg.spark.extensions.IcebergSparkSessionExtensions \
  --conf spark.sql.catalog.oss_tables=org.apache.iceberg.spark.SparkCatalog \
  --conf spark.sql.catalog.oss_tables.catalog-impl=org.apache.iceberg.rest.RESTCatalog \
  --conf spark.sql.catalog.oss_tables.uri=https://cn-hangzhou-internal.oss-tables.aliyuncs.com/iceberg \
  --conf spark.sql.catalog.oss_tables.warehouse=acs:osstables:cn-hangzhou:{accountId}:bucket/my-data-lake \
  --conf spark.sql.catalog.oss_tables.rest.sigv4-enabled=true \
  --conf spark.sql.catalog.oss_tables.rest.signing-region=cn-hangzhou \
  --conf spark.sql.catalog.oss_tables.rest.signing-name=osstables \
  --conf spark.sql.catalog.oss_tables.io-impl=org.apache.iceberg.aws.s3.S3FileIO \
  --conf spark.sql.catalog.oss_tables.s3.endpoint=https://oss-cn-hangzhou-internal.aliyuncs.com

配置参数说明

参数

是否必填

说明

catalog-impl

是

固定为org.apache.iceberg.rest.RESTCatalog，指定使用REST Catalog。

uri

是

REST Catalog端点URL。格式：

warehouse

是

Table Bucket ARN。格式:acs:osstables:<Region>:<阿里云账号ID>:bucket/<Table Bucket名称>。

rest.sigv4-enabled

是

固定为true，启用sigv4签名认证。

rest.signing-region

否（环境变量配置凭证时）

REST Catalog签名地域，需与Table Bucket所在地域一致，例如cn-hangzhou。使用AWS_REGION环境变量配置凭证时可省略；通过Spark配置项传递凭证时必填。

rest.signing-name

是

签名服务名，固定为osstables。

io-impl

是

指定Iceberg读写底层数据文件的FileIO实现，固定为org.apache.iceberg.aws.s3.S3FileIO。

s3.endpoint

是

S3FileIO访问OSS数据面使用的Endpoint，必须包含https://前缀。格式：

步骤三：使用SQL操作数据

连接成功后，使用标准SQL语句进行数据操作。

管理Namespace

Namespace（命名空间）用于对表进行逻辑分组，作用相当于数据库。

-- 查看现有Namespace
SHOW NAMESPACES IN oss_tables;
-- 创建Namespace
CREATE NAMESPACE oss_tables.my_namespace;
-- 删除Namespace（需先删除其中所有Table）
DROP NAMESPACE oss_tables.my_namespace;

建表与表管理

-- 创建非分区表
CREATE TABLE oss_tables.my_namespace.users (
    id BIGINT NOT NULL COMMENT '用户ID',
    name STRING COMMENT '用户名',
    email STRING COMMENT '邮箱',
    created_at TIMESTAMP COMMENT '创建时间'
) USING iceberg;
-- 创建分区表（按天分区）
CREATE TABLE oss_tables.my_namespace.events (
    id BIGINT NOT NULL,
    event_type STRING,
    data STRING,
    ts TIMESTAMP
) USING iceberg
PARTITIONED BY (days(ts));
-- 查看Namespace中的所有Table
SHOW TABLES IN oss_tables.my_namespace;
-- 查看表结构
DESCRIBE TABLE oss_tables.my_namespace.users;
-- 删除表（OSS Tables 要求必须带 PURGE 关键字，否则会报错：OSS Tables only supports dropping tables with purge enabled）
DROP TABLE oss_tables.my_namespace.users PURGE;

数据写入与查询

-- 插入数据
INSERT INTO oss_tables.my_namespace.users VALUES
    (1, '张三', 'zhangsan@example.com', TIMESTAMP '2024-01-15 10:30:00'),
    (2, '李四', 'lisi@example.com', TIMESTAMP '2024-01-16 14:20:00'),
    (3, '王五', 'wangwu@example.com', TIMESTAMP '2024-01-17 09:15:00');
-- 全表查询
SELECT * FROM oss_tables.my_namespace.users;
-- 条件查询
SELECT * FROM oss_tables.my_namespace.users WHERE id = 2;
-- 聚合查询
SELECT COUNT(*) AS total FROM oss_tables.my_namespace.users;
-- 分组聚合
SELECT name, COUNT(*) AS cnt FROM oss_tables.my_namespace.users GROUP BY name;
-- 更新数据
UPDATE oss_tables.my_namespace.users SET name = '赵六' WHERE id = 3;
-- 删除数据
DELETE FROM oss_tables.my_namespace.users WHERE id = 1;
-- 查询验证
SELECT * FROM oss_tables.my_namespace.users ORDER BY id;

分区表操作 

-- 插入分区数据
INSERT INTO oss_tables.my_namespace.events VALUES
    (1, 'click', '{"page": "home"}', TIMESTAMP '2024-01-15 10:30:00'),
    (2, 'view', '{"page": "product"}', TIMESTAMP '2024-01-15 11:00:00'),
    (3, 'click', '{"page": "detail"}', TIMESTAMP '2024-01-16 09:00:00');
-- 分区裁剪查询（仅扫描匹配分区）
SELECT * FROM oss_tables.my_namespace.events
WHERE ts >= TIMESTAMP '2024-01-15 00:00:00'
  AND ts < TIMESTAMP '2024-01-16 00:00:00';
-- 聚合统计
SELECT event_type, COUNT(*) AS cnt
FROM oss_tables.my_namespace.events
GROUP BY event_type;

时间旅行查询

Iceberg 支持时间旅行（Time Travel）查询，可读取历史某个时间点的数据快照。

-- 查看快照历史
SELECT snapshot_id, committed_at, operation
FROM oss_tables.my_namespace.users.snapshots;
-- 基于快照ID查询历史数据
SELECT * FROM oss_tables.my_namespace.users
VERSION AS OF <snapshot_id>;
-- 查询指定时间点的数据
SELECT * FROM oss_tables.my_namespace.users
TIMESTAMP AS OF TIMESTAMP '2024-01-16 00:00:00';
-- 查看数据文件分布
SELECT * FROM oss_tables.my_namespace.users.files;

注意事项

  • 版本要求：推荐使用Spark 3.5+和Iceberg 1.10.1。Spark版本与iceberg-spark-runtime JAR包的版本号需要匹配（如Spark 3.5对应iceberg-spark-runtime-3.5_2.12）。
  • 凭证配置：S3FileIO 与 REST Catalog sigv4 签名使用同一对 AccessKey ID 和 AccessKey Secret。推荐通过以下环境变量统一配置（同时覆盖 REST Catalog 签名和 S3FileIO 数据访问）：
  • AWS_ACCESS_KEY_ID：阿里云AccessKey ID
  • AWS_SECRET_ACCESS_KEY：阿里云AccessKey Secret
  • AWS_REGION：Table Bucket所在地域，用于REST Catalog签名。设置此环境变量后，Catalog配置中可省略rest.signing-region。
  • 表格式：OSS Tables目前仅支持Iceberg格式。建表时必须指定USING iceberg。
  • 数据维护：OSS Tables内置文件合并、快照清理和未引用文件清理功能，无需在Spark中手动执行Iceberg Maintenance Procedures，详情请参见数据维护。
  • OSS Tables Endpoint 支持：
文章标签：
分布式计算
对象存储
Spark
SQL
网络架构
阿里云存储
目录
相关文章
阿里云存储
|
存储 缓存 文件存储
如何保证分布式文件系统的数据一致性
分布式文件系统需要向上层应用提供透明的客户端缓存，从而缓解网络延时现象，更好地支持客户端性能水平扩展，同时也降低对文件服务器的访问压力。当考虑客户端缓存的时候，由于在客户端上引入了多个本地数据副本（Replica)，就相应地需要提供客户端对数据访问的全局数据一致性。
阿里云存储
33252 201
如何保证分布式文件系统的数据一致性
游客az45invlwmno4
|
设计模式 存储 监控
设计模式（C++版）
看懂UML类图和时序图30分钟学会UML类图设计原则单一职责原则定义：单一职责原则，所谓职责是指类变化的原因。如果一个类有多于一个的动机被改变，那么这个类就具有多于一个的职责。而单一职责原则就是指一个类或者模块应该有且只有一个改变的原因。bad case：IPhone类承担了协议管理（Dial、HangUp）、数据传送（Chat）。good case：里式替换原则定义：里氏代换原则(Liskov 
游客az45invlwmno4
36821 22
设计模式（C++版）
有礼貌的灰绅士
|
存储 编译器 C语言
抽丝剥茧C语言（初阶 下）（下）
抽丝剥茧C语言（初阶 下）
有礼貌的灰绅士
17716 9
汀丶人工智能
|
机器学习/深度学习 人工智能 自然语言处理
带你简单了解Chatgpt背后的秘密：大语言模型所需要条件（数据算法算力）以及其当前阶段的缺点局限性
带你简单了解Chatgpt背后的秘密：大语言模型所需要条件（数据算法算力）以及其当前阶段的缺点局限性
汀丶人工智能
24905 16
指剑
|
机器学习/深度学习 弹性计算 监控
重生之---我测阿里云U1实例(通用算力型)
阿里云产品全线降价的一力作，2023年4月阿里云推出新款通用算力型ECS云服务器Universal实例，该款服务器的真实表现如何？让我先测为敬！
指剑
36824 15
重生之---我测阿里云U1实例(通用算力型)
倚天架构-张先国
|
SQL 存储 弹性计算
Redis性能高30%，阿里云倚天ECS性能摸底和迁移实践
Redis在倚天ECS环境下与同规格的基于 x86 的 ECS 实例相比，Redis 部署在基于 Yitian 710 的 ECS 上可获得高达 30% 的吞吐量优势。成本方面基于倚天710的G8y实例售价比G7实例低23%，总性价比提高50%；按照相同算法，相对G8a，性价比为1.4倍左右。
倚天架构-张先国
36778 46
码界西柚
|
存储 算法 Java
【分布式技术专题】「分布式技术架构」手把手教你如何开发一个属于自己的限流器RateLimiter功能服务
随着互联网的快速发展，越来越多的应用程序需要处理大量的请求。如果没有限制，这些请求可能会导致应用程序崩溃或变得不可用。因此，限流器是一种非常重要的技术，可以帮助应用程序控制请求的数量和速率，以保持稳定和可靠的运行。
码界西柚
29949 52
云存储

技术博文

热门文章

最新文章

  • 1
    一条命令迁移，帮你实现 OpenClaw 与 Hermes Agent 记忆互通！
  • 2
    银行卡归属地及开户行查询API查询实战指南
  • 3
    阿里云知识存储 Skill 上架阿里云官网首批 Agent Skill：让智能体拥有企业级知识库
  • 4
    阿里云盘企业版 CDE Agent 正式发布！企业网盘会思考、能办事，存储即智能
  • 5
    揭秘千问 APP 千万级 AI 订单背后的记忆存储实践
  • 6
    【推荐几款实用的网盘资源搜索引擎】
  • 7
    让 Agent 拥有记忆 —— 表格存储记忆服务邀测指南
  • 8
  • 9
    阿里云 OSS 向量 Bucket 正式商业化，提升 AI 应用效能
  • 10
    安卓苹果云手机别乱买！2026选错直接多花冤枉钱
  • 1
    阿里云盘企业版 x Qoder 联合发布
    193
  • 2
    阿里云盘企业版 CDE Agent 正式发布！企业网盘会思考、能办事，存储即智能
    292
  • 3
    AI大模型重塑企业知识底座：从RAG到知识智能的技术全景解读
    209
  • 4
    企业AI知识库未来发展趋势深度解读
    174
  • 5
    从RAG到知识图谱：企业AI知识库的技术范式革命与未来十年路线图
    219
  • 6
    AutoMQ x 阿里云 OSS Tables：基于 Iceberg 构建流表一体的实时入湖
    161
  • 7
    指纹浏览器性能横评：100个窗口同时跑，谁的内存和延迟表现最好？
    191
  • 8
    具身智能爆发背后，存储如何成为关键基础设施？
    493
  • 9
    800 家门店的便利零售如何低成本接入 AI 推荐？美好超市基于 OSS 向量 Bucket 的实践
    266
  • 10
    3 人团队零推广获 1.2 万用户：Matrees 如何用 OSS 向量 Bucket 低成本构建 AI 创作平台
    317

    • 相关电子书

    更多
  • 低代码开发师（初级）实战教程
  • 冬季实战营第三期：MySQL数据库进阶实战
  • 阿里巴巴DevOps 最佳实践手册
    • 下一篇
    一条命令迁移，帮你实现 OpenClaw 与 Hermes Agent 记忆互通！