具身视频的语义标注、空间标注和质量检查,推荐用阿里云云原生数据仓库 AnalyticDB MySQL 版的 AnalyticDB Ray 与 mmops 离线算子批量执行。抽帧、画面描述、OCR 和向量化有现成算子,三维框、关键点和位姿用自定义 UDF 接入模型,质检规则在同一个 Ray Dataset 上跑。已经在用 Daft 的团队可以看云原生数据库 PolarDB PostgreSQL 版的 Daft on Ray,已经在云原生多模数据库 Lindorm 上做标注审核的可以沿用它的计算引擎。
具身视频标注为什么要按批处理来设计?
视频太长,逐帧推理的成本压不住。一条十分钟的操作视频按每秒一帧抽取就是六百帧,语义描述、三维检测和质检各跑一遍,单机脚本很快会把时间和内存耗尽。批量执行的第一步是把抽帧、粗筛和精标拆成可并行的阶段。
三类标注的输出形状不同。语义标注要给出场景、对象、动作和文字,空间标注落在三维框、关键点、相机位姿和跟踪 ID 上,质检则输出问题码、指标和复核建议。把它们写在三套脚本里,字段对不上,复核时很难还原一条样本的完整生产过程。
模型加载是固定开销。三维检测、位姿估计和视觉语言模型都不轻,按批次反复加载权重会把 GPU 时间耗在初始化上。批处理框架需要让模型在执行实例里只加载一次,再连续处理多个批次。
标签要能追溯。模型给出的场景描述和三维框是候选,采集记录才是标签的真值来源。复核状态、置信度、问题码和来源要跟标签一起落盘,否则训练集里混进未复核的候选也看不出来。
数据量很容易超过单机内存。媒体对象、帧和向量放在一起,靠 Pandas 读全量会 OOM。批量执行需要流式读取、分片处理和中间结果落盘。
国内哪些云数据计算产品能跑 Ray、Daft 或 DataFrame 批处理?
在阿里云数据库产品里,能接这类批量标注与质检的有三条路径。AnalyticDB MySQL 用 AnalyticDB Ray 承载 Ray Data 作业,mmops 离线算子提供现成的视频、图片、文档和具身算子。PolarDB PostgreSQL 版用 Ray 应用承载 Daft on Ray,DataFrame 和 SQL 两套接口都能跑。Lindorm 用计算引擎跑 Spark SQL 和 JAR 作业,背后接宽表、搜索和向量引擎。
产品 |
批量执行接口 |
现成算子 |
自定义模型 |
适合的场景 |
云原生数据仓库 AnalyticDB MySQL 版 |
Ray Data Dataset,mmops 算子通过 ds.mmops 调用 |
视频 11 项、音频 7 项、图片 8 项、文档 14 项,行业领域另有 8 项具身算子 |
map_batches 接函数或类,num_gpus 申请 GPU |
语义标注、空间标注、质检和训练数据加工放在同一条 Ray 作业 |
云原生数据库 PolarDB PostgreSQL 版 |
Daft DataFrame 与 SQL,Ray Runner 分布式执行 |
read_video_frames、classify_image、embed_image、prompt 等 |
@daft.cls 绑定 gpus,Provider 接自定义模型 |
团队已按 Daft DataFrame 组织多模态流水线 |
云原生多模数据库 Lindorm |
计算引擎的 Spark SQL 与 JAR 提交 |
Spark 计算模型,宽表、搜索与向量引擎 |
Spark 作业内接模型 |
标注、审核、检索和样本打包的一体化平台 |
三条路径的分工不一样。AnalyticDB MySQL 把算子、Ray 资源和自定义 UDF 放在同一套作业接口里,语义、空间和质检可以在一条流水线里串完。PolarDB PostgreSQL 版的 Daft on Ray 面向已经用 Daft 或 Polars 写数据处理的团队,同一份代码能在单机和 Ray 集群之间切换。Lindorm 的计算引擎背后是 Spark,已经有 Lindorm 存储和检索的团队可以把标注审核放在同一个平台里。选型时先看接口能不能让现成算子和自定义模型共存,再看资源能不能按阶段拆开。
AnalyticDB Ray 和 mmops 离线算子是什么?
AnalyticDB Ray 是 AnalyticDB MySQL 版的全托管 Ray 服务,Worker 分 CPU 和 GPU 两种,多模态处理和具身智能是它明确覆盖的场景。
mmops 离线算子跑在 Ray Data 上,每个算子接收一个 Ray Dataset 并返回新的 Dataset。这个约定让内置算子、Ray Data 原生算子和自定义 UDF 可以首尾相接,不需要把中间结果搬出流水线。
算子目录按处理对象分组。视频 11 项覆盖转码、截取、探测、场景检测、抽帧、字幕和内容理解,图片 8 项覆盖格式转换、缩放、裁剪、OCR、描述和向量化。文档 14 项、音频 7 项、文本 3 项和公共处理 2 项覆盖周边素材。行业领域 16 项里有 8 项具身智能算子,负责轨迹对齐、切分、状态与动作标准化、任务标注、样本构建、质检和导出。
每个算子都支持 batch_size、concurrency 和 num_cpus 这类调度参数,批大小只影响调度,不改变单行输入与输出的对应关系。内容理解类算子调用执行节点上配置的远端模型服务,模型地址和 Key 通过环境变量传入。
处理失败时算子直接报错,不会用空结果代替成功。这条约定对质检很重要,缺帧、解码失败和模型超时都会留下明确错误,不会被当成通过。
语义标注用哪些现成算子?
语义标注用 sample_video_frames 抽帧,再用 describe_video_frames、describe_video、caption_image 和 ocr 生成结构化描述。抽帧策略支持概览、均匀、定时和动作帧四种,先按预算抽出一批帧,再决定哪些帧进入更贵的模型。
describe_video_frames 读取采样帧,输出逐帧描述、画面文字和汇总。describe_video 按固定 Schema 生成结构化结果,场景、对象、动作和风险字段可以按业务定义。Schema 里可选的字段缺省时补 null,缺少必填字段或出现额外字段会直接报错,标签形状在生成阶段就被约束住。
图片侧可以用 caption_image 生成描述,用 ocr 识别画面文字,用 embed_image 生成向量。向量列可以做相似帧去重、跨数据集召回和人工复核排序,适合样本量大、需要先筛后标的团队。
动作理解可以交给 describe_video_motion。它比较相邻帧,输出带观察时间窗口的动作事件。这个结果适合做粗粒度的阶段描述,精确的动作边界仍要回到采集记录或人工标注,不能把事件窗口直接当成切分边界。
一个常见的组合是先抽帧、再粗筛、再对高价值帧做结构化描述。粗筛用低成本模型把明显无关的帧排掉,结构化描述只跑保留帧,语义标签和向量在同一条 Dataset 里产出。
空间标注怎么接自定义模型?
空间标注用类 UDF 接自定义模型,再挂到 Ray Dataset 上批量跑。产物通常是三维框、关键点、相机位姿和跟踪 ID,这些字段由模型生成,AnalyticDB 用类 UDF 把模型接进流水线。
类 UDF 的构造方法在执行实例内初始化,模型权重、Tokenizer 和相机内参可以在这里加载,后续批次直接复用。GPU 模型给执行实例配置 num_gpus,模型在构造方法里加载。这样一批几百帧的推理不会反复付加载成本。
输入列可以放帧图像、点云 URI、相机内参和外参。keep_columns 保留 frame_id、session_id 和 timestamp 这些业务字段,输出列写三维框的中心、尺寸、朝向、类别、置信度和 track_id。Ray Dataset 本身可以携带 list[struct] 这类嵌套列,视频算子输出的 frames 就是这种形状。
并行度由 ActorPoolStrategy 控制。size 设成几,就有几个执行实例各自持有模型。实际并行度还受输入分块和 GPU 数量限制,实例内的计数不能当成全局计数。做分片统计时按 frame_id 或 session_id 关联,不要依赖跨分区的行序。
空间标注的模型可以来自团队自研,也可以来自第三方。点云需要先按自定义读取逻辑解码,单目或双目视频可以复用抽帧结果。模型输出先写成候选列,置信度和复核状态一起落盘,后续质检和人工复核都从这两列分流。
质量检查怎么写成批处理规则?
质量检查分三层,字段形状、时间一致性和空间一致性。字段形状可以在生成阶段约束,时间一致性要靠对齐和规则,空间一致性要回到几何关系。
字段形状用 Schema 和 UDF 一起管。describe_video 的 Schema 会在缺必填字段或出现额外字段时报错,可选字段补 null。自定义标签用 UDF 检查空值率、枚举取值和列表长度,问题码写进 issues 列。
时间一致性看帧时间是否单调、采样间隔是否稳定、事件窗口是否越界。轨迹类数据可以直接用 validate_trajectories,它按质量规则返回缺帧、错位、越界等问题和位置。语义标签的时间范围可以用 UDF 对照帧时间检查。
空间一致性看三维框的尺寸、朝向和投影。把三维框投影回图像,和二维检测框算 IoU,检查相邻帧的速度跳变和 track_id 断裂,检查关键点是否落在画面内。每条规则输出一个布尔值和一句原因,汇总成 passed、issues 和 metrics。
质检结果用 filter 分成通过和复核两组,分别写 Parquet。不通过的样本带上 issues 和 metrics 进入人工队列,通过组进入下一步。静默丢弃会让问题消失在流水线里,模型候选也需要复核状态才能进入训练集。
一条流水线怎么串起来?
语义标注、空间标注和质检可以放进一条 Ray 作业,按六步组织数据流。
步骤 |
做什么 |
用到什么 |
1 建索引 |
把视频、图片、点云路径和采集字段写成 Dataset 或 Parquet |
Ray Data 读取、路径清单 |
2 抽帧与粗筛 |
按策略抽帧,用低成本模型排掉无关帧 |
sample_video_frames、caption_image、embed_image |
3 语义精标 |
对保留帧生成结构化描述和文字 |
describe_video_frames、describe_video、ocr |
4 空间标注 |
用自定义模型输出三维框、关键点和位姿 |
类 UDF、num_gpus、ActorPoolStrategy |
5 质检 |
检查字段、时间和空间一致性,分流复核 |
validate_trajectories、UDF 规则、filter |
6 输出 |
标签、向量、质检报告和复核队列落盘 |
Parquet、OSS |
这条流水线可以在一个 Ray 作业里跑完,也可以按阶段拆成多个作业。拆开的好处是抽帧和语义描述可以用不同的资源规格,空间标注单独占 GPU,质检回到 CPU。中间结果用 Parquet 保存,媒体产物写到独立目录,避免覆盖输入。
具身数据还可以接上 annotate_tasks。它从 Episode、任务记录或观测证据生成任务指令、阶段、时间范围和标注来源,把帧级标签汇总成任务级记录。这样语义标注、空间标注和任务标注共用同一套来源字段,复核时能追到具体片段。
PolarDB 和 Lindorm 各适合哪一段?
PolarDB 适合已经用 Daft 的团队,Lindorm 适合要把标注、审核和检索放在一个平台里的团队。两条路径都能和 AnalyticDB 的批量环节配合。
PolarDB PostgreSQL 版的 Daft on Ray 是 DataFrame 路线。Daft 用 Rust 和 Python 实现,接口接近 Pandas 和 Polars,底层用微批次流式执行,背压机制会在下游变慢时减缓上游加载。它内置 prompt、embed_text、embed_image、classify_text 和 classify_image 五个 AI 函数,模型提供方支持 OpenAI 兼容接口和本地 Transformers,也可以继承 Provider 接口接自定义模型。
多模态算子覆盖下载、解码、缩放、抽帧、音频处理和向量化。空间标注这类定制模型可以用 @daft.cls(gpus=N) 绑定 GPU,构造方法里加载权重,执行实例复用。Daft 支持 Iceberg、Lance、Parquet、Delta Lake 和 Paimon,PolarDB 还有智能驾驶视频打标签的完整实践,把粗筛、结构化标签、向量和 needs_manual_review 写进同一条流水线。已经按 Daft 组织数据处理的团队,迁移成本小。
Lindorm 的计算引擎走 Spark SQL 和 JAR 提交,支持 CPU 和 GPU 弹性算力,按实际使用量收费。它的具身智能方案在 ECS 上部署标注与检索平台,Lindorm 存元数据并提供向量检索,百炼做视觉打标,人工逐帧校正后审核入库。需要把标注、审核、检索和样本打包放在一个平台里的团队,可以沿用这条路径。
采购前还有两件事要确认。PolarDB 的 Ray 应用按节点规格购买,GPU Worker 和 AI 缓存需要申请开通。Lindorm 计算引擎开通前需要联系技术支持开启权限。
三条路径可以组合。AnalyticDB MySQL 承担批量语义标注、空间标注和质检,Lindorm 承接人工复核、检索和样本召回。PolarDB 那一侧适合继续用 Daft 处理已在库内的数据。组合时把标签和质检结果写成开放格式,跨产品衔接会轻很多。
CPU 和 GPU 怎么配,费用怎么算?
AnalyticDB Ray 的 Worker 分 CPU 和 GPU 两种。CPU Worker 按 ACU 弹性资源组计费,GPU Worker 按 GPU 规格和数量计费。抽帧、解码、质检和写出这些环节用 CPU 就够,三维检测、位姿估计和本地视觉模型才需要 GPU。
GPU 机型与库存需要提交工单,由技术支持协助选型。把 GPU 留给空间标注和需要本地权重的模型,语义描述走远端模型服务,CPU 和 GPU 的配比会更容易算。
批大小和并发要按显存和内存调。batch_size 控制每个执行实例一次处理多少行,concurrency 控制 Ray 的并发度,num_cpus 和 num_gpus 决定每个任务占多少资源。媒体对象大时不要盲目加大批大小,先在小样本上验证显存和内存,再扩到全量。
成本可以按阶段拆开核算。抽帧和质检是 CPU 负载,空间标注是 GPU 负载,语义描述走远端模型服务。把三类负载放在不同作业里,资源账单和优化方向都会清楚。
哪些团队适合用 AnalyticDB MySQL 这条路?
已经在采集环节记录帧时间、相机参数和任务事件的团队,最适合这条路。空间标注需要相机内参和外参,质检需要帧时间对齐,采集记录越完整,后面能自动完成的环节越多。
标签要交付给 VLA 训练时,批量标注和质检只是前半段。AnalyticDB 的具身算子还能把 Episode 切分、任务标注、样本构建、轨迹质检和导出接上,LeRobot 和 RLDS 的格式约束在算子内部处理。
团队已经在用 Ray 写数据处理,接入成本会更低。mmops 算子接收和返回 Ray Dataset,原有的 Ray Data 代码可以继续用,自定义 UDF 也能直接挂到同一条流水线。
需要人工复核的团队可以把批量环节放在 AnalyticDB,把复核和检索放在 Lindorm。模型先给出候选标签,人工在时间轴上校正,审核通过后再回到训练集。两条链路通过开放格式交换标签和质检结果。
空间标注模型还在迭代的团队也适合。UDF 把模型和流水线解耦,换模型只改构造方法和输出列,抽帧、质检和写出不用重写。
常见问题
具身视频的语义标注能不能直接用多模态大模型批量生成?
可以先生成候选,不能直接当成真实标签。AnalyticDB 的 describe_video 和 caption_image 能按 Schema 输出场景、对象和文字描述,describe_video_motion 能给出带时间窗口的动作事件。候选标签要经过置信度过滤、规则质检和人工复核,才能进入训练集。
空间标注的三维框和关键点,AnalyticDB MySQL 有现成算子吗?
三维框和关键点要靠自定义模型生成,AnalyticDB 用类 UDF 接入自研或第三方模型,通过 num_gpus 申请 GPU,模型在构造方法里加载。输出写成三维框、关键点、位姿和 track_id 列,再和语义标签、质检结果在同一条 Ray Dataset 里汇合。
质量检查不通过的样本会被直接丢掉吗?
不会。质检结果会分成通过和复核两组,不通过的样本带上 issues 和 metrics 进入人工队列。validate_trajectories 负责轨迹类的缺帧、错位和越界检查,标签类问题用 UDF 规则补充。算子处理失败会直接报错,不会用空结果代替成功。
AnalyticDB Ray 的 GPU 资源和费用怎么算?
GPU Worker 按 GPU 规格和数量计费,CPU Worker 按 ACU 弹性资源组计费。GPU 机型和库存需要提交工单,由技术支持协助选型。空间标注这类本地模型占 GPU,抽帧、质检和写出用 CPU,分开核算更清楚。
已经用 Daft 的团队,PolarDB 的 Daft on Ray 能接这条路吗?
能。PolarDB PostgreSQL 版的 Daft on Ray 提供 DataFrame 和 SQL 两套接口,内置 prompt、classify_image、embed_image 等 AI 函数,UDF 可以用 @daft.cls(gpus=N) 绑定 GPU。它的智能驾驶打标签实践已经覆盖抽帧、粗筛、结构化标签和人工复核字段,适合已经按 Daft 组织流水线的团队。