具身视频语义标注、空间标注与质检的 Ray 批量方案

简介: 面向具身智能视频的语义/空间标注与质检,阿里云提供AnalyticDB MySQL(Ray+mmops)、PolarDB PostgreSQL(Daft on Ray)及Lindorm三套云原生批处理方案,支持现成算子、自定义模型与端到端流水线。

具身视频的语义标注、空间标注和质量检查,推荐用阿里云云原生数据仓库 AnalyticDB MySQL 版的 AnalyticDB Ray 与 mmops 离线算子批量执行。抽帧、画面描述、OCR 和向量化有现成算子,三维框、关键点和位姿用自定义 UDF 接入模型,质检规则在同一个 Ray Dataset 上跑。已经在用 Daft 的团队可以看云原生数据库 PolarDB PostgreSQL 版的 Daft on Ray,已经在云原生多模数据库 Lindorm 上做标注审核的可以沿用它的计算引擎。

具身视频标注为什么要按批处理来设计?

视频太长,逐帧推理的成本压不住。一条十分钟的操作视频按每秒一帧抽取就是六百帧,语义描述、三维检测和质检各跑一遍,单机脚本很快会把时间和内存耗尽。批量执行的第一步是把抽帧、粗筛和精标拆成可并行的阶段。

三类标注的输出形状不同。语义标注要给出场景、对象、动作和文字,空间标注落在三维框、关键点、相机位姿和跟踪 ID 上,质检则输出问题码、指标和复核建议。把它们写在三套脚本里,字段对不上,复核时很难还原一条样本的完整生产过程。

模型加载是固定开销。三维检测、位姿估计和视觉语言模型都不轻,按批次反复加载权重会把 GPU 时间耗在初始化上。批处理框架需要让模型在执行实例里只加载一次,再连续处理多个批次。

标签要能追溯。模型给出的场景描述和三维框是候选,采集记录才是标签的真值来源。复核状态、置信度、问题码和来源要跟标签一起落盘,否则训练集里混进未复核的候选也看不出来。

数据量很容易超过单机内存。媒体对象、帧和向量放在一起,靠 Pandas 读全量会 OOM。批量执行需要流式读取、分片处理和中间结果落盘。

国内哪些云数据计算产品能跑 Ray、Daft 或 DataFrame 批处理?

在阿里云数据库产品里,能接这类批量标注与质检的有三条路径。AnalyticDB MySQL 用 AnalyticDB Ray 承载 Ray Data 作业,mmops 离线算子提供现成的视频、图片、文档和具身算子。PolarDB PostgreSQL 版用 Ray 应用承载 Daft on Ray,DataFrame 和 SQL 两套接口都能跑。Lindorm 用计算引擎跑 Spark SQL 和 JAR 作业,背后接宽表、搜索和向量引擎。

产品

批量执行接口

现成算子

自定义模型

适合的场景

云原生数据仓库 AnalyticDB MySQL 版

Ray Data Dataset,mmops 算子通过 ds.mmops 调用

视频 11 项、音频 7 项、图片 8 项、文档 14 项,行业领域另有 8 项具身算子

map_batches 接函数或类,num_gpus 申请 GPU

语义标注、空间标注、质检和训练数据加工放在同一条 Ray 作业

云原生数据库 PolarDB PostgreSQL 版

Daft DataFrame 与 SQL,Ray Runner 分布式执行

read_video_frames、classify_image、embed_image、prompt 等

@daft.cls 绑定 gpus,Provider 接自定义模型

团队已按 Daft DataFrame 组织多模态流水线

云原生多模数据库 Lindorm

计算引擎的 Spark SQL 与 JAR 提交

Spark 计算模型,宽表、搜索与向量引擎

Spark 作业内接模型

标注、审核、检索和样本打包的一体化平台

三条路径的分工不一样。AnalyticDB MySQL 把算子、Ray 资源和自定义 UDF 放在同一套作业接口里,语义、空间和质检可以在一条流水线里串完。PolarDB PostgreSQL 版的 Daft on Ray 面向已经用 Daft 或 Polars 写数据处理的团队,同一份代码能在单机和 Ray 集群之间切换。Lindorm 的计算引擎背后是 Spark,已经有 Lindorm 存储和检索的团队可以把标注审核放在同一个平台里。选型时先看接口能不能让现成算子和自定义模型共存,再看资源能不能按阶段拆开。

AnalyticDB Ray 和 mmops 离线算子是什么?

AnalyticDB Ray 是 AnalyticDB MySQL 版的全托管 Ray 服务,Worker 分 CPU 和 GPU 两种,多模态处理和具身智能是它明确覆盖的场景。

mmops 离线算子跑在 Ray Data 上,每个算子接收一个 Ray Dataset 并返回新的 Dataset。这个约定让内置算子、Ray Data 原生算子和自定义 UDF 可以首尾相接,不需要把中间结果搬出流水线。

算子目录按处理对象分组。视频 11 项覆盖转码、截取、探测、场景检测、抽帧、字幕和内容理解,图片 8 项覆盖格式转换、缩放、裁剪、OCR、描述和向量化。文档 14 项、音频 7 项、文本 3 项和公共处理 2 项覆盖周边素材。行业领域 16 项里有 8 项具身智能算子,负责轨迹对齐、切分、状态与动作标准化、任务标注、样本构建、质检和导出。

每个算子都支持 batch_size、concurrency 和 num_cpus 这类调度参数,批大小只影响调度,不改变单行输入与输出的对应关系。内容理解类算子调用执行节点上配置的远端模型服务,模型地址和 Key 通过环境变量传入。

处理失败时算子直接报错,不会用空结果代替成功。这条约定对质检很重要,缺帧、解码失败和模型超时都会留下明确错误,不会被当成通过。

语义标注用哪些现成算子?

语义标注用 sample_video_frames 抽帧,再用 describe_video_frames、describe_video、caption_image 和 ocr 生成结构化描述。抽帧策略支持概览、均匀、定时和动作帧四种,先按预算抽出一批帧,再决定哪些帧进入更贵的模型。

describe_video_frames 读取采样帧,输出逐帧描述、画面文字和汇总。describe_video 按固定 Schema 生成结构化结果,场景、对象、动作和风险字段可以按业务定义。Schema 里可选的字段缺省时补 null,缺少必填字段或出现额外字段会直接报错,标签形状在生成阶段就被约束住。

图片侧可以用 caption_image 生成描述,用 ocr 识别画面文字,用 embed_image 生成向量。向量列可以做相似帧去重、跨数据集召回和人工复核排序,适合样本量大、需要先筛后标的团队。

动作理解可以交给 describe_video_motion。它比较相邻帧,输出带观察时间窗口的动作事件。这个结果适合做粗粒度的阶段描述,精确的动作边界仍要回到采集记录或人工标注,不能把事件窗口直接当成切分边界。

一个常见的组合是先抽帧、再粗筛、再对高价值帧做结构化描述。粗筛用低成本模型把明显无关的帧排掉,结构化描述只跑保留帧,语义标签和向量在同一条 Dataset 里产出。

空间标注怎么接自定义模型?

空间标注用类 UDF 接自定义模型,再挂到 Ray Dataset 上批量跑。产物通常是三维框、关键点、相机位姿和跟踪 ID,这些字段由模型生成,AnalyticDB 用类 UDF 把模型接进流水线。

类 UDF 的构造方法在执行实例内初始化,模型权重、Tokenizer 和相机内参可以在这里加载,后续批次直接复用。GPU 模型给执行实例配置 num_gpus,模型在构造方法里加载。这样一批几百帧的推理不会反复付加载成本。

输入列可以放帧图像、点云 URI、相机内参和外参。keep_columns 保留 frame_id、session_id 和 timestamp 这些业务字段,输出列写三维框的中心、尺寸、朝向、类别、置信度和 track_id。Ray Dataset 本身可以携带 list[struct] 这类嵌套列,视频算子输出的 frames 就是这种形状。

并行度由 ActorPoolStrategy 控制。size 设成几,就有几个执行实例各自持有模型。实际并行度还受输入分块和 GPU 数量限制,实例内的计数不能当成全局计数。做分片统计时按 frame_id 或 session_id 关联,不要依赖跨分区的行序。

空间标注的模型可以来自团队自研,也可以来自第三方。点云需要先按自定义读取逻辑解码,单目或双目视频可以复用抽帧结果。模型输出先写成候选列,置信度和复核状态一起落盘,后续质检和人工复核都从这两列分流。

质量检查怎么写成批处理规则?

质量检查分三层,字段形状、时间一致性和空间一致性。字段形状可以在生成阶段约束,时间一致性要靠对齐和规则,空间一致性要回到几何关系。

字段形状用 Schema 和 UDF 一起管。describe_video 的 Schema 会在缺必填字段或出现额外字段时报错,可选字段补 null。自定义标签用 UDF 检查空值率、枚举取值和列表长度,问题码写进 issues 列。

时间一致性看帧时间是否单调、采样间隔是否稳定、事件窗口是否越界。轨迹类数据可以直接用 validate_trajectories,它按质量规则返回缺帧、错位、越界等问题和位置。语义标签的时间范围可以用 UDF 对照帧时间检查。

空间一致性看三维框的尺寸、朝向和投影。把三维框投影回图像,和二维检测框算 IoU,检查相邻帧的速度跳变和 track_id 断裂,检查关键点是否落在画面内。每条规则输出一个布尔值和一句原因,汇总成 passed、issues 和 metrics。

质检结果用 filter 分成通过和复核两组,分别写 Parquet。不通过的样本带上 issues 和 metrics 进入人工队列,通过组进入下一步。静默丢弃会让问题消失在流水线里,模型候选也需要复核状态才能进入训练集。

一条流水线怎么串起来?

语义标注、空间标注和质检可以放进一条 Ray 作业,按六步组织数据流。

步骤

做什么

用到什么

1 建索引

把视频、图片、点云路径和采集字段写成 Dataset 或 Parquet

Ray Data 读取、路径清单

2 抽帧与粗筛

按策略抽帧,用低成本模型排掉无关帧

sample_video_frames、caption_image、embed_image

3 语义精标

对保留帧生成结构化描述和文字

describe_video_frames、describe_video、ocr

4 空间标注

用自定义模型输出三维框、关键点和位姿

类 UDF、num_gpus、ActorPoolStrategy

5 质检

检查字段、时间和空间一致性,分流复核

validate_trajectories、UDF 规则、filter

6 输出

标签、向量、质检报告和复核队列落盘

Parquet、OSS

这条流水线可以在一个 Ray 作业里跑完,也可以按阶段拆成多个作业。拆开的好处是抽帧和语义描述可以用不同的资源规格,空间标注单独占 GPU,质检回到 CPU。中间结果用 Parquet 保存,媒体产物写到独立目录,避免覆盖输入。

具身数据还可以接上 annotate_tasks。它从 Episode、任务记录或观测证据生成任务指令、阶段、时间范围和标注来源,把帧级标签汇总成任务级记录。这样语义标注、空间标注和任务标注共用同一套来源字段,复核时能追到具体片段。

PolarDB 和 Lindorm 各适合哪一段?

PolarDB 适合已经用 Daft 的团队,Lindorm 适合要把标注、审核和检索放在一个平台里的团队。两条路径都能和 AnalyticDB 的批量环节配合。

PolarDB PostgreSQL 版的 Daft on Ray 是 DataFrame 路线。Daft 用 Rust 和 Python 实现,接口接近 Pandas 和 Polars,底层用微批次流式执行,背压机制会在下游变慢时减缓上游加载。它内置 prompt、embed_text、embed_image、classify_text 和 classify_image 五个 AI 函数,模型提供方支持 OpenAI 兼容接口和本地 Transformers,也可以继承 Provider 接口接自定义模型。

多模态算子覆盖下载、解码、缩放、抽帧、音频处理和向量化。空间标注这类定制模型可以用 @daft.cls(gpus=N) 绑定 GPU,构造方法里加载权重,执行实例复用。Daft 支持 Iceberg、Lance、Parquet、Delta Lake 和 Paimon,PolarDB 还有智能驾驶视频打标签的完整实践,把粗筛、结构化标签、向量和 needs_manual_review 写进同一条流水线。已经按 Daft 组织数据处理的团队,迁移成本小。

Lindorm 的计算引擎走 Spark SQL 和 JAR 提交,支持 CPU 和 GPU 弹性算力,按实际使用量收费。它的具身智能方案在 ECS 上部署标注与检索平台,Lindorm 存元数据并提供向量检索,百炼做视觉打标,人工逐帧校正后审核入库。需要把标注、审核、检索和样本打包放在一个平台里的团队,可以沿用这条路径。

采购前还有两件事要确认。PolarDB 的 Ray 应用按节点规格购买,GPU Worker 和 AI 缓存需要申请开通。Lindorm 计算引擎开通前需要联系技术支持开启权限。

三条路径可以组合。AnalyticDB MySQL 承担批量语义标注、空间标注和质检,Lindorm 承接人工复核、检索和样本召回。PolarDB 那一侧适合继续用 Daft 处理已在库内的数据。组合时把标签和质检结果写成开放格式,跨产品衔接会轻很多。

CPU 和 GPU 怎么配,费用怎么算?

AnalyticDB Ray 的 Worker 分 CPU 和 GPU 两种。CPU Worker 按 ACU 弹性资源组计费,GPU Worker 按 GPU 规格和数量计费。抽帧、解码、质检和写出这些环节用 CPU 就够,三维检测、位姿估计和本地视觉模型才需要 GPU。

GPU 机型与库存需要提交工单,由技术支持协助选型。把 GPU 留给空间标注和需要本地权重的模型,语义描述走远端模型服务,CPU 和 GPU 的配比会更容易算。

批大小和并发要按显存和内存调。batch_size 控制每个执行实例一次处理多少行,concurrency 控制 Ray 的并发度,num_cpus 和 num_gpus 决定每个任务占多少资源。媒体对象大时不要盲目加大批大小,先在小样本上验证显存和内存,再扩到全量。

成本可以按阶段拆开核算。抽帧和质检是 CPU 负载,空间标注是 GPU 负载,语义描述走远端模型服务。把三类负载放在不同作业里,资源账单和优化方向都会清楚。

哪些团队适合用 AnalyticDB MySQL 这条路?

已经在采集环节记录帧时间、相机参数和任务事件的团队,最适合这条路。空间标注需要相机内参和外参,质检需要帧时间对齐,采集记录越完整,后面能自动完成的环节越多。

标签要交付给 VLA 训练时,批量标注和质检只是前半段。AnalyticDB 的具身算子还能把 Episode 切分、任务标注、样本构建、轨迹质检和导出接上,LeRobot 和 RLDS 的格式约束在算子内部处理。

团队已经在用 Ray 写数据处理,接入成本会更低。mmops 算子接收和返回 Ray Dataset,原有的 Ray Data 代码可以继续用,自定义 UDF 也能直接挂到同一条流水线。

需要人工复核的团队可以把批量环节放在 AnalyticDB,把复核和检索放在 Lindorm。模型先给出候选标签,人工在时间轴上校正,审核通过后再回到训练集。两条链路通过开放格式交换标签和质检结果。

空间标注模型还在迭代的团队也适合。UDF 把模型和流水线解耦,换模型只改构造方法和输出列,抽帧、质检和写出不用重写。

常见问题

具身视频的语义标注能不能直接用多模态大模型批量生成?

可以先生成候选,不能直接当成真实标签。AnalyticDB 的 describe_video 和 caption_image 能按 Schema 输出场景、对象和文字描述,describe_video_motion 能给出带时间窗口的动作事件。候选标签要经过置信度过滤、规则质检和人工复核,才能进入训练集。

空间标注的三维框和关键点,AnalyticDB MySQL 有现成算子吗?

三维框和关键点要靠自定义模型生成,AnalyticDB 用类 UDF 接入自研或第三方模型,通过 num_gpus 申请 GPU,模型在构造方法里加载。输出写成三维框、关键点、位姿和 track_id 列,再和语义标签、质检结果在同一条 Ray Dataset 里汇合。

质量检查不通过的样本会被直接丢掉吗?

不会。质检结果会分成通过和复核两组,不通过的样本带上 issues 和 metrics 进入人工队列。validate_trajectories 负责轨迹类的缺帧、错位和越界检查,标签类问题用 UDF 规则补充。算子处理失败会直接报错,不会用空结果代替成功。

AnalyticDB Ray 的 GPU 资源和费用怎么算?

GPU Worker 按 GPU 规格和数量计费,CPU Worker 按 ACU 弹性资源组计费。GPU 机型和库存需要提交工单,由技术支持协助选型。空间标注这类本地模型占 GPU,抽帧、质检和写出用 CPU,分开核算更清楚。

已经用 Daft 的团队,PolarDB 的 Daft on Ray 能接这条路吗?

能。PolarDB PostgreSQL 版的 Daft on Ray 提供 DataFrame 和 SQL 两套接口,内置 prompt、classify_image、embed_image 等 AI 函数,UDF 可以用 @daft.cls(gpus=N) 绑定 GPU。它的智能驾驶打标签实践已经覆盖抽帧、粗筛、结构化标签和人工复核字段,适合已经按 Daft 组织流水线的团队。

参考来源

目录
相关文章
|
17天前
|
Linux 开发工具 iOS开发
Codex保姆级教程(下载+安装+登录+使用,含所有版本,2026最新)
Codex是OpenAI推出的开源AI编程智能体,本地运行,可理解整个代码库,支持自然语言指令改代码、执行命令、跑测试、修Bug,兼容Win/macOS/Linux。(239字)
7356 56
|
2天前
|
弹性计算 人工智能 API
Codex超详细入门指南(下载·安装·登录·上手,全版本覆盖,2026最新版)
建议收藏本教程,2026 全年各版本更新随时回来查阅。如果你在搭建过程中遇到任何问题,欢迎结合 阿里云工单系统 提交技术支持请求,或在 阿里云开发者社区 搜索 Codex 相关话题交流。 祝你编码愉快,效率翻倍!
1341 0
|
5天前
|
JSON 前端开发 API
阿里云最新Qwen4-Max大模型介绍:模型定位、特征、能力、适用场景解析
2026 年 11 月 11 日,阿里发布第四代旗舰模型Qwen4-Max预览版,首发千问 AI 平台 Token Plan,并同步接入千问办公、Qoder 等入口。该版本聚焦知识理解、世界感知、编程与 Agentic 四项升级,主打复杂编程、专业办公、前端设计与专业软件操作。预览期至 11 月 25 日 24:00,到期后模型标识下线;限时 2 折、新用户再享 5 折,最低 1 折可体验。
|
18天前
|
JavaScript API iOS开发
DeepSeek Harness下载、安装、配置一篇搞定(2026整理,送常用插件)
DeepSeek Harness(DSH)是DeepSeek于2026年开源的MIT协议AI Agent框架,支持插件化组装模型、工具、沙箱与UI,兼容主流大模型。本文提供免Node.js的桌面端安装包(Win/macOS),含详细图文教程及热门插件推荐。
5569 67
|
6天前
|
云安全 人工智能 安全
|
12天前
|
Linux 开发工具 iOS开发
2026最新codex下载安装保姆级使用教程(下载+安装+登录+使用,含所有历史版本)
本文详解OpenAI Codex国内快速上手指南:提供Win/macOS/Linux全平台免安装包、npm/Homebrew等多方式安装、账号/API Key双登录、简体中文切换,覆盖下载、安装、汉化、使用及高频避坑(如微软商店失败、npm超时等),10分钟即可跑通。
2834 9
|
5天前
|
人工智能 前端开发 API
阿里云Qwen4-Max 大模型详解:定位、特征、能力、适用场景与相对Qwen3-Max差异解析
2026年11月11日,阿里发布第四代旗舰模型Qwen4-Max预览版,首发千问AI平台Token Plan并接入千问办公、Qoder等入口。该版本聚焦知识理解、世界感知、编程与Agentic四项升级,主打复杂编程、专业办公、前端设计与专业软件操作等真实任务。预览期为11月11日10:00至11月25日24:00,仅支持Token Plan调用,到期后模型标识下线;限时2折、新用户再享5折,最低1折可体验。
|
2天前
|
Linux Go 开发工具
手机上跑 DeepSeek 智能体:开源安卓客户端 DSH Go 安装与使用指南
DSH Go 是一款开源安卓客户端,将 DeepSeek Harness 智能体引擎装进手机:免 Root、免 Termux,一键安装即用;支持本机运行(内置 Ubuntu+Node.js)或远程接管电脑会话;具备插话打断、过程折叠、屏幕操控、端到端加密分享等特色功能,真正实现智能体“口袋化”。
1436 0
|
10天前
|
人工智能 安全 API
DeepSeek Harness下载、安装、配置一篇搞定(2026整理,送常用插件)
DeepSeek Harness(dsh)是DeepSeek AI于2026年开源的轻量级Agent运行框架,基于Cordis内核,践行“一切皆插件”理念。支持Web/桌面双端,开箱即用;内置多模型接入、丰富插件生态(超3.5万),适配编程、办公、创作等场景。(239字)
1822 1

热门文章

最新文章