阿里云 EMR Serverless Spark AI Function 多模态能力介绍与智驾场景图片理解实践

简介: 本文介绍了阿里云EMR Serverless Spark AI Function在多模态处理上的能力升级与智驾场景落地实践,涵盖图片理解(aiquery)和向量化(aiembeddingmultimodal)两大核心函数的多种调用模式,支持URI路径、二进制流及readfiles直读等灵活输入方式,并可对接百炼或PAI-EAS实现快速验证与企业级安全推理;通过智驾环岛识别与特种车辆检测案例,验证了其在高分辨率图像秒级结构化分析、长尾场景泛化及自动化数据清洗方面的实际效能。

导读

本文详细介绍了阿里云 EMR Serverless Spark AI Function 在多模态处理能力上的最佳实践。特别聚焦于自动驾驶(智驾)场景,通过真实的智驾数据预处理案例,演示了如何利用多模态 AI Function 自动识别复杂路况(如环岛)及长尾特种车辆(如警车、吊车)。该方案将传统依赖人工标注的高成本流程转化为高效的自动化 ETL 流水线,不仅实现了秒级的高分辨率图片分析,还通过结构化输出验证了其在处理非标准视觉特征时的准确性,为智驾研发中的数据闭环提供了极具价值的智能清洗引擎参考。


1. AI Function 全面拓展多模态能力

EMR Serverless Spark AI Function 通过将大模型推理能力以 SQL 函数的形式原生集成到计算引擎中,极大地降低了用户使用大模型的门槛。在最新的 esr-4.7.0 及以上版本(Spark 3.5.2)中,AI Function 全面拓展了对多模态输入的支持。主要体现在 ai_query 的多模态用法和全新的 ai_embedding_multimodal 函数上。

1.1 ai_query:图片理解的几种模式

模式一:从 DLF Blob 字段读取图片内容

适用于将图片二进制数据直接存储在表中的场景。

CREATE DATABASE ai_dataset;
CREATE TABLE ai_dataset.test_blob (
    path STRING,
    data BINARY
) TBLPROPERTIES (
    'row-tracking.enabled' = 'true',
    'data-evolution.enabled' = 'true',
    'blob-field' = 'data'
);

INSERT INTO ai_dataset.test_blob
SELECT path, content FROM read_files("oss://bucket_name/images/ccpd_1m_100/", suffix => "jpg");

SELECT path, 
  ai_query(
  '请描述图片中的主要内容',
  service_name => 'qwen3.6-plus',
  data => data
  ) 
  FROM ai_dataset.test_blob;

模式二:路径列 + URI 读取

当图片存储在 OSS、OSS-HDFS 或其他 Hadoop 兼容文件系统中,且表中只保存路径时,通过指定 data_type => 'uri',函数将在内部按路径读取文件并进行推理。这种模式适合已有图片路径表的存量数据场景。

-- 车牌识别:从路径表批量推理
SELECT
  path,
  ai_query(
    '返回图中车牌号。IMPORTANT:只回复车牌信息;如果图片模糊无法辨认,回复''无法识别''。',
    service_name => 'qwen3.6-plus',
    data => path, -- oss://bucket/path/to/image
    data_type => 'uri',
    options => '{"enable_thinking": false}'
  ) AS plate_number
FROM (
  SELECT /*+ REPARTITION(10) */ path
  FROM ccpd_1m_1000
) t;
  • data => path 传入的是路径列
  • data_type => 'uri' 表示函数内部按路径读取文件,支持 oss 以及 file 的方式。使用 file 的方式,需要配合 Spark 的纳管挂载功能。(如 file:///mnt/data/images/xxx.jpg)
  • 如 data_type => 'binary',则接受图片的 binary 内容以及 http(s)
  • 分区数建议在内层子查询里通过 REPARTITION hint 控制,而不是直接写在包含 AI 函数的外层投影上
  • 如果不传 options.enable_thinking,默认就是 false

模式三:read_files + 二进制读取

结合 read_files 函数,可以直接从目录批量读取图片内容,将二进制内容(BINARY 类型)作为多模态输入,无需预先建立路径表,适合新增数据的批量处理场景。

-- 直接从 OSS 目录批量读取图片并推理
SELECT
  path,
  ai_query(
    '请描述图片中的主要内容',
    service_name => 'qwen3.6-plus',
    data => content
  ) AS description
FROM read_files(
  'oss://bucket/path/to/images/',
  suffix => 'jpg,jpeg,png'
);

提示:read_files 支持 suffix 参数进行后缀过滤,过滤会下推到文件扫描阶段,避免先把目录中的其他大文件读出来,显著减少无关文件扫描和下游 AI 请求量。如需递归读取子目录,可添加 recursive => true 参数。

1.2 ai_embedding_multimodal:图片向量化

对于需要进行以图搜图、多模态检索的场景,ai_embedding_multimodal 函数可以高效地将图片转换为向量(Embedding),为后续的向量检索和相似度计算提供基础。

方式一:路径列 + URI 读取

SELECT
  path,
  ai_embedding_multimodal(
    path,
    service_name => 'tongyi-embedding-vision-plus',
    data_type => 'uri'
  ) AS embedding
FROM image_paths_table;

方式二:二进制列直接传入并把向量写入 DLF Paimon

create table embedding_result(
  path string, 
  embedding array<double>) 
using paimon;

insert overwrite embedding_result
SELECT
  path,
  ai_embedding_multimodal(
    content,
    service_name => 'tongyi-embedding-vision-plus'
  ) AS embedding
FROM read_files('oss://bucket/path/to/images/', suffix => 'jpg,png');

通过 ai_embedding_multimodal 生成的图片向量,可以直接写入向量数据库(如 Milvus),构建多模态检索系统,支持图文跨模态搜索等高级应用场景。

2. 支持主流模型:开放生态,灵活接入

EMR Serverless Spark 的 AI Function 不仅内置了 Qwen(通义千问)系列模型,还通过统一的模型服务注册机制,支持接入外部主流模型,包括 PAI-EAS、DeepSeek、KIMI、GLM、MiniMax 等系列,覆盖了当前市场上最主流的大模型生态。

在接入模式上,产品提供了两种核心路径,覆盖从快速验证到企业级生产的全场景需求:

  • 快速验证:对接阿里云百炼(开箱即用)
    对于希望快速验证业务场景、进行 PoC 验证或数据探索的团队,阿里云百炼是最高效的选择。用户无需关心模型的部署、扩缩容或 API 鉴权细节,只需在百炼控制台获取密钥,即可在 SQL 中直接调用云端大模型。这种"零代码、零运维"的体验,将 PoC 的时间从数周缩短至数小时。
  • 企业级定制:对接 PAI-EAS(安全可控)
    对于金融、医疗等对数据隐私极其敏感,或拥有自研微调模型的企业,PAI-EAS(模型在线服务)提供了坚实的底座。用户可以将私有模型部署在 PAI-EAS 上,并通过 VPC 内网与 EMR Serverless Spark 打通。数据无需离开安全的 VPC 环境,直接在湖仓内部完成推理,既满足了严格的合规要求,又享受了 Serverless Spark 弹性计算带来的极致性能。

模型接入列表

Serverless Spark 已内置下述模型,可以直接配合 AI Function 调用模型能力,无需额外注册:

模型服务名称 模型名称
qwen3.6-plus qwen3.6-plus
qwen3.5-plus qwen3.5-plus
qwen-plus qwen-plus
text-embedding-v4 text-embedding-v4
tongyi-embedding-vision-plus tongyi-embedding-vision-plus

4. 实践案例:智驾多模态数据的图片理解

4.1 场景背景

在自动驾驶和智能交通系统的研发与测试中,路测车每天会产生记录仪视频数据。传统的处理流程往往依赖人工标注团队对视频帧进行逐帧打标,不仅成本高昂、周期长,而且难以应对长尾场景(如罕见的特种车辆、复杂的道路结构)。

本案例需求:
某智驾团队需要快速分析一批前置摄像头(Camera Front)采集的原始图像,旨在自动识别其中是否包含以下关键要素:

  • 特殊路况:环岛(Roundabout),考验感知算法对非直线车道的理解。
  • 特种车辆:警车(Police Car)、皮卡车(Pickup Truck)、吊车/升降作业车(Crane/Lift Truck)。

4.2 基于 Spark AI Functions 的多模态方案

我们利用 EMR Serverless Spark 集成的 ai_query 函数,调用千问(Qwen3.6-plus)多模态大模型能力。整个流程被简化为标准的 ETL 流水线:读取 OSS 文件 -> SQL 定义 Prompt -> 调用 AI 函数 -> 输出结构化结果。

代码实现:

-- 定义包含详细视觉特征描述的 Prompt 变量
WITH vars AS (
  SELECT '''
# 请判断图片都属于下列哪类标签:环岛 | 警车 | 皮卡车 | 吊车/升降作业车 | 都不是

* 环岛
视觉特征:车辆正前方是一个圆形路口,地面或路旁有白色导向箭头。

* 警车
视觉特征:车身有明确的“公安”、“警察”、"POLICE"等字样或官方警用徽章,车身涂装为制式警车样式(如黑白、蓝白等)。

* 皮卡车
视觉特征:车头独立、后方带开放式货斗的轻型货车。

* 吊车/升降作业车
视觉特征:底盘背负巨大折叠吊臂或高耸伸缩云梯的重型特种工程车。

# 输出不要包含任何解释性文字。格式为:["标签 1", "标签 2", ...]
''' AS prompt
)

-- 执行视觉推理
SELECT 
  t.path, 
  ai_query(
    v.prompt, 
    data => t.content,        -- 自动传入图片二进制流
    service_name => "qwen3.6-plus" -- 指定调用的多模态模型服务
  ) as result
FROM read_files('oss://baobao-wlcb/camera_front/', 'jpg,png') t
CROSS JOIN vars v;

4.3 运行效果与案例分析

任务提交后,EMR Serverless Spark 自动弹性扩容计算资源,在数秒内完成了 5 张高分辨率智驾图片的分析。

输入数据概览:
我们在 oss://baobao-wlcb/camera_front/ 目录下准备了 5 张典型测试图片,涵盖不同难度场景:

  • 图1:输出标签:["警车", "皮卡车"]
  • 图2:输出标签:["环岛"]
  • 图3:输出标签:["吊车/升降作业车"]
  • 图4:输出标签:["皮卡车"]
  • 图5:输出标签:[ ] (对应“都不是”)

5. 总结

通过本案例,我们验证了 EMR Serverless Spark AI Functions 在智驾数据预处理领域的优势:

  1. 开箱即用,无需编码,效率提升数倍:从“下载数据 -> 写 Python 脚本 -> 部署环境 -> 运行推理”的数小时流程,缩减为“编写 SQL -> 提交运行”的分钟级操作。
  2. 高吞吐批量处理,无带宽压力:针对大规模数据集深度性能优化,吞吐量显著优于 UDF 方案,embedding 函数支持自动合并多行数据为单次 LLM 请求,显著降低延迟。
  3. 生产级稳定性保障:内置限流自动退避、超时重试、服务异常熔断等机制,无需用户自行处理异常场景,保障大规模数据处理任务稳定完成。
  4. 统一的模型服务管理:用户无需在代码中管理凭证,支持灵活切换不同模型;通过平台统一配置模型服务地址和密钥,安全合规。
  5. 极致的弹性成本:Serverless 架构意味着在没有任务时不产生任何费用,按实际处理的图片数量和计算时长计费,非常适合间歇性的数据处理需求。

未来,这套架构可扩展至视频级的行为分析(如“驾驶员是否疲劳”、“行人违规横穿”),成为智驾数据闭环中不可或缺的智能清洗引擎。

相关文章
|
4月前
|
SQL 人工智能 缓存
阿里云 EMR Serverless StarRocks(Stella 2.2.0)发布:多模态处理与分析闭环,内表与湖表统一检索
Stella 2.2 面向 AI 时代的数据基础设施,打通“多模态数据处理—向量化与理解—多路检索—分析消费”的完整闭环。无论数据沉淀在 Paimon 湖表,还是 StarRocks 存算分离内表,都可以在统一 SQL 入口下组合结构化分析、全文检索、向量检索与 AI Function,服务智能驾驶、具身智能、内容与商品理解、企业知识库和 RAG 等场景。
699 2
|
11月前
|
人工智能 数据可视化 安全
WhatsApp Business API 怎么用?阿里云 Chat App 常见问题(持续更新)
全面解答阿里云 Chat App 消息服务高频问题,涵盖 WhatsApp Business 账号注册、模板审核、API 集成、多通道发送、计费规则、AI 机器人配置、安全合规等。出海企业必备指南,助您高效触达全球 30 亿用户。
1872 0
|
8天前
|
5G 数据中心
急热急冷热流道与模具急冷急热:两条不同的技术路线
注塑行业常混淆“急热急冷”概念:RHCM(模具级)整模升降温,主攻外观件熔接痕与高光;急热急冷热流道(浇口级)仅动态调控浇口温度,专解LCP/高温尼龙的拉丝、堵嘴难题。二者作用范围、成本、适用产品截然不同,选型须按实际需求精准匹配。(239字)
急热急冷热流道与模具急冷急热:两条不同的技术路线
|
27天前
|
存储 安全 数据处理
EMR Daft × Qoder:一句话生成并运行智驾数据处理 Pipeline
本文介绍了阿里云EMR Daft与Qoder协同实现智驾数据处理Pipeline的一站式解决方案,通过自然语言描述需求即可自动生成并运行分布式多模态作业,覆盖OSS视频读取、场景切分、关键帧提取、多维度标签生成、Embedding计算及结果写入Paimon数据湖的完整链路,显著降低工程复杂度,提升数据资产构建效率。
172 0
EMR Daft × Qoder:一句话生成并运行智驾数据处理 Pipeline
|
27天前
|
SQL 人工智能 运维
阿里云 EMR Serverless StarRocks Skills 正式发布
阿里云EMR Serverless StarRocks Skills正式发布,面向Agent提供SQL开发、慢查询诊断、建表设计、数据导入、实例运维与弹性扩缩容六大能力,通过starrocks-assistant和starrocks-manage两大Skill封装StarRocks最佳实践与实时集群状态,实现从“生成建议”到“自动执行”的跃迁,已兼容Qoder、Claude Code、DataWorks Data Agent等主流AI客户端,标志着EMR从业界领先大数据基座全面迈入Agentic时代。
190 0
阿里云 EMR Serverless StarRocks Skills 正式发布
|
27天前
|
SQL 人工智能 Serverless
借助 EMR Serverless StarRocks 实现电商平台图搜图、文搜图场景
本文介绍如何基于 EMR Serverless StarRocks 构建统一的多模态电商搜索系统,通过内置 AI Function 实现图搜图与文搜图场景的一体化处理:利用 Object Table 直接挂载 OSS 图片,结合 HNSW/IVFPQ 向量索引与结构化字段联合查询,将图片/文本向量化、ANN 检索、业务过滤(价格、库存、类目等)全部收敛至单条 SQL,消除多系统割裂与数据延迟问题,显著提升搜索实时性、准确性和工程效率。
186 0
借助 EMR Serverless StarRocks 实现电商平台图搜图、文搜图场景
|
27天前
|
SQL 分布式计算 Serverless
EMR Serverless Spark 推出 Spark 4.0,加速湖仓架构下的数据处理升级
Spark 4.0 通过引入 VARIANT 半结构化数据类型、原生 SQL UDF 和增强的 PySpark 生态,显著提升了湖仓一体架构下的查询性能、SQL 表达能力与 Python 工程效率;阿里云 EMR Serverless Spark 已全面支持该版本,企业可开箱即用这些能力,无需运维集群或处理兼容性问题,加速数据处理升级。
160 0
EMR Serverless Spark 推出 Spark 4.0,加速湖仓架构下的数据处理升级
|
2月前
|
人工智能 架构师 云栖大会
2026云栖大会 | 阿里云洛神云网络技术Session主题资料和视频回放归档
2026年9月24日-26日,杭州,一年一度的云栖大会如期而至。阿里云飞天洛神云网络围绕"从连接万物到连接智能,加速客户AI创新"这一主题,集中发布AI Infra网络新基建、Agent应用网络、边缘智能推理、游戏公网质量治理等方向的产品能力升级,并分享小鹏汽车、Maxinsights、网易互娱、Megaport等客户与生态伙伴的一线实践。本文归档2026云栖大会云网络分论坛的全部主题演讲PPT与视频回放链接,方便开发者按需检索。
1216 1
|
27天前
|
SQL 人工智能 缓存
最佳实践:用 StarRocks AI Function 实现金融行业文本分类
本文介绍了如何利用 StarRocks AI Function 在数据库内原生实现金融文本的端到端智能分析,涵盖情感分析、工单分类、合同要素抽取、PII 脱敏等核心场景,通过异步非阻塞架构、SQL 谓词下推、LRU 缓存与三层限流等技术创新,在保障数据不出库的前提下,显著提升处理并发性、降低延迟与 Token 成本,并满足金融级安全合规要求。
154 0
|
4月前
|
人工智能 分布式计算 大数据
活动报名 | Agentic Lakehouse Meetup · 北京站,从开源技术创新到多模态数据智能化
8月14日,阿里云在北京举办“Agentic Lakehouse”技术活动,聚焦开源大数据生态如何支撑AI Agent全生命周期。
605 2
活动报名 | Agentic Lakehouse Meetup · 北京站,从开源技术创新到多模态数据智能化

热门文章

最新文章