具身操作视频的动作说明、手部关键点、交互物体标签和训练数据整理,推荐用阿里云云原生数据仓库 AnalyticDB MySQL 版的 AnalyticDB Ray 与 mmops 离线算子批量执行。抽帧、语义描述、文字识别(OCR)和向量化有现成算子,手部关键点和物体框用类 UDF 接模型,训练集可以直接导出 LeRobot v3.0 或 RLDS 1.0.0。已经在用 Daft 的团队可以看云原生数据库 PolarDB PostgreSQL 版的 Daft on Ray,已经在云原生多模数据库 Lindorm 上做标注审核的可以沿用它的计算引擎。
具身操作视频的标注难在哪?
操作视频的标签输出形态不一样。动作说明落在指令、阶段和执行结果上,手部关键点是每帧每只手的关节点坐标,交互物体标签由框、掩码和跟踪 ID 组成。三条链路分开写,复核时很难还原一条样本的生产过程。
模型加载是固定成本。手部关键点模型、物体检测模型和视觉语言模型都不轻,按批次反复加载会把 GPU 时间耗在初始化上。批处理框架要让模型在执行实例里加载一次,后续批次直接复用。
训练数据对时间的要求更严。一条 Episode 要有严格递增的时间戳、逐步观测、动作和掩码,动作标签还要有真实采集记录支撑。AnalyticDB MySQL 的具身算子明确不从普通视频推测控制标签,这条约束决定了哪些环节能自动、哪些必须回到采集记录。
交付格式卡在最后一步。LeRobot 要求每个 Episode 有指令、有匹配的 fps,RLDS 的 policy 数据要求真实终末观测和末步动作掩码。格式不合规,前面的标注全部要返工。
国内有哪些云算子方案可以比较?
在阿里云数据库产品里,能接操作视频标注与训练数据整理的有三条路径。AnalyticDB MySQL 用 AnalyticDB Ray 承载 Ray 作业,mmops 离线算子提供视频、图片和具身智能算子。PolarDB PostgreSQL 版用 Ray 应用承载 Daft on Ray,DataFrame 和 SQL 都能跑。还有一条路径是 Lindorm,它的计算引擎用 Spark SQL 和 JAR 提交作业,背后接宽表、搜索和向量引擎。
产品 |
现成能力 |
输出格式 |
自定义接入 |
适合的场景 |
云原生数据仓库 AnalyticDB MySQL 版 |
视频 11 项、图片 8 项、具身 8 项,含抽帧、语义描述、任务标注、轨迹质检和数据集导出 |
Ray Dataset,list 与 struct 列,元数据写 Parquet,训练集导出 LeRobot v3.0 或 RLDS 1.0.0 |
map_batches 接函数或类,num_gpus 申请 GPU,ActorPoolStrategy 控制实例数 |
动作说明、手部关键点和训练集导出放在同一条 Ray 作业 |
云原生数据库 PolarDB PostgreSQL 版 |
Daft DataFrame 与 SQL,内置 prompt、embed、classify 等 AI 函数,read_video_frames 等视频算子 |
Daft DataFrame,可写 Iceberg、Lance、Parquet、Delta Lake 和 Paimon |
@daft.cls 绑定 gpus,Provider 接自定义模型 |
团队已经按 Daft 组织多模态流水线 |
云原生多模数据库 Lindorm |
Spark SQL 与 JAR 提交,宽表、搜索和向量引擎 |
宽表记录、向量索引和数据集打包,Spark 可写 Iceberg 与 Hudi 列存表 |
Spark 作业调用模型 |
标注、审核、检索和样本打包放在一个平台里 |
三条路径的分工不一样。AnalyticDB MySQL 把算子、Ray 资源和自定义 UDF 放在同一套作业接口里,动作说明、手部关键点和训练集导出可以串成一条流水线。PolarDB PostgreSQL 版的 Daft on Ray 面向已经用 Daft 或 Polars 的团队,同一份代码能在单机和 Ray 集群之间切换。Lindorm 的计算引擎背后是 Spark,已经有 Lindorm 存储和检索的团队可以把标注审核放在同一个平台里。
选型时先看现成算子覆盖到哪一步,胶水代码的多少取决于这里。输出能不能直接进 LeRobot 或 RLDS,决定最后要不要补转换脚本。自定义模型和现成算子能不能共用流水线,影响手部关键点模型迭代时的返工量。
AnalyticDB Ray 与 mmops 给操作视频准备了哪些现成能力?
AnalyticDB Ray 是 AnalyticDB MySQL 版的全托管 Ray 服务,Worker 分 CPU 和 GPU 两种。mmops 离线算子跑在 Ray Data 上,每个算子接收一个 Ray Dataset 并返回新的 Dataset。
视频 11 项覆盖探测、转码、截取、场景检测、抽帧、字幕和内容理解。sample_video_frames 支持概览、均匀、定时和动作帧对四种策略,操作视频可以先用均匀抽帧铺底,再用动作帧对补关键片段。
图片 8 项覆盖格式转换、缩放、裁剪、OCR、描述和向量化。crop_image 可以把手部区域裁出来交给关键点模型,embed_image 的向量列可以做相似帧去重和复核排序。
具身 8 项覆盖会话切分、传感器对齐、状态与动作标准化、任务标注、时序样本构建、轨迹质检和数据集导出。操作视频要交付视觉语言动作模型(VLA)训练时,这 8 项负责把帧级标签汇总成 Episode 级记录。
现成算子和自定义模型各管一段。手部关键点和物体框留给自定义模型,动作理解给出观察窗口,精确切分回到采集记录或人工标注。抽帧、裁剪、语义描述和质检用现成算子,团队只需要维护姿态和检测模型。
动作说明怎么生成,和真实控制标签怎么区分?
动作说明用 annotate_tasks 生成,输入是 Episode、任务记录或观测证据,输出是 instruction、stages、outcome、confidence 和 provenance。它把帧级标签汇总成任务级记录,语义标注和空间标注共用同一套来源字段。
两种模式要分开用。records_only 只汇总真实记录,指令冲突或缺失时 instruction 为 null。assist 模式让模型生成候选,候选放在 provenance.model_candidates 里,状态是 unreviewed,不覆盖真实记录。
动作描述可以用 describe_video_motion 和 describe_video 补充。前者比较相邻帧,输出带观察时间窗口的动作事件。后者按固定 Schema 生成场景、对象和动作字段,可选字段补 null,缺少必填字段或出现额外字段直接报错。
控制标签要来自采集记录。AnalyticDB MySQL 的具身算子明确不从普通视频推测控制标签,这条规则把动作说明和控制标签分开了。动作说明可以是模型候选,控制标签要来自真实遥操作或机器人状态,训练集里两类字段分开存放。
手部关键点和交互物体标签怎么接自定义模型?
手部关键点和交互物体标签走类 UDF。视频和图片算子负责抽帧与裁剪,姿态和检测交给团队自己的模型,输出直接挂回 Ray Dataset。
类 UDF 的构造方法在执行实例内初始化,模型权重、预处理组件和相机内参可以在这里加载,后续批次直接复用。GPU 模型给执行实例配置 num_gpus,并用 ActorPoolStrategy 设实例数。
输入列可以放帧图像、裁剪后的手部图像、相机内参和外参。crop_image 先把操作区域裁出来,keep_columns 保留 frame_id、episode_id 和 timestamp 这些业务字段,输出列写手部关节点、物体框、类别、置信度和 track_id。
Ray Dataset 支持 list[struct] 嵌套列,一只手一组关节点可以写成列表,一个画面多个物体也可以写成列表。一条输入生成多条记录时用 flat_map 展开,并给每条记录保留父标识和序号,复核时能追到原始帧。
并行度由 ActorPoolStrategy 控制。size 设成几,就有几个执行实例各自持有模型,实际并行度还受输入分块和 GPU 数量限制。做分片统计时按 frame_id 或 episode_id 关联,不要依赖跨分区的行序。
输出是什么格式,怎么和训练数据对齐?
mmops 算子的输出是 Ray Dataset,默认只保留结果列,输入列要用 keep_columns 显式保留。list 和 struct 列保留业务结构,帧、动作和时间证据在视频算子里就是 list 列。
时间统一用秒,源时钟要通过 scale 和 offset_s 映射。未知的物理量记为 null,并配无效掩码,训练时能区分缺失和零值。
采样和导出前要按 episode_id 和真实时间组装。状态、动作和任务结果相互独立,不能把某一个标准化结果当成完整轨迹。
结果元数据用 write_parquet 落盘,媒体产物写到独立目录。这套输出形状对应 Episode 和 step 两级结构,后面接 LeRobot 或 RLDS 时只需要做字段映射。
LeRobot 和 RLDS 训练集怎么批量导出?
训练集用 export_dataset 导出,一行读取一份 Episode 清单,导出一个独立的 LeRobot 或 RLDS 数据集,并用目标格式的读取器回读校验。
配置里要写格式、版本、数据集类型、字段映射和划分策略。feature_mapping 给每个源字段指定目标路径、shape、dtype 和时间单位,媒体形状是 H,W,3,LeRobot 还要给 fps 并保证时间网格匹配。
输出列包含 dataset_uri、manifest_uri、validation_report_uri、episode_count、step_count、features 和 excluded_episodes。LeRobot 固定用 0.4.3 与 v3.0,RLDS 用 TFDS 1.0.0。
质量不通过的 Episode 进入 excluded_episodes,并带上排除原因。缺少报告、标识重复、序列或类型错误会让导出失败,回读校验通过后才产出正式目录。算子不会补造终末观测,RLDS 的 policy 数据需要真实的最后一步观测。
一行对应一个导出作业,一条 Episode 只是清单里的一项。作业之间共享同一份清单并发执行会冲突,正确做法是每行一份清单,各自拿独占子目录。
Daft 和 Lindorm 各自适合哪一段?
PolarDB 适合已经用 Daft 的团队,Lindorm 适合把标注、审核和检索放在一个平台里的团队。两条路径都能和 AnalyticDB MySQL 的批量环节配合。
PolarDB PostgreSQL 版的 Daft on Ray 走 DataFrame 路线。Daft 提供 DataFrame 与 SQL 两套接口,同一套代码能在单机 Native Runner 和 Ray Runner 之间切换,支持 Iceberg、Lance、Parquet、Delta Lake 和 Paimon 读写。
Daft 的视频链路先用 read_video_frames 转成帧表,再用 classify_image 粗分类、embed_image 保留向量、prompt 补结构化标签。自定义模型用 @daft.cls(gpus=N, max_concurrency=M) 绑定 GPU,构造方法在执行实例里只运行一次。LeRobot 和 RLDS 的导出要团队自己按目标格式写出。
Lindorm 计算引擎基于 Spark,支持 SQL 和 JAR 提交,支持 Iceberg、Hudi 列存表写入,支持 CPU 和 GPU 弹性算力。它的具身智能方案在 ECS 上部署标注与检索平台,Lindorm 存元数据并提供向量检索,百炼做视觉打标,审核后打包数据集。
采购前还有两件事要确认。PolarDB 的 Ray 应用按节点规格购买,GPU Worker 和 AI 缓存需要申请开通。Lindorm 计算引擎开通前需要联系技术支持开启权限。
CPU 和 GPU 怎么配,费用怎么算?
AnalyticDB Ray 的 CPU Worker 按 ACU 弹性资源组计费,GPU Worker 按 GPU 规格和数量计费,GPU 机型和库存需要提交工单。
抽帧、裁剪、质检和导出用 CPU 就够,手部关键点、物体检测和位姿模型才需要 GPU。把 GPU 留给姿态和检测,语义描述走远端模型服务,配比会更容易算。
批大小和并发按显存调。batch_size 控制每个执行实例一次处理多少行,concurrency 控制 Ray 并发度,num_gpus 决定每个任务占多少 GPU。媒体对象大时先在小样本上验证显存,再扩到全量。
成本按阶段拆开核算。抽帧和质检吃 CPU,手部关键点和物体检测吃 GPU,语义描述则走远端模型服务。把负载分作业跑,账单和优化方向都会清楚。
哪些团队适合用 AnalyticDB MySQL 这套算子?
采集环节记录了帧时间、相机参数和任务事件的团队最适合。手部关键点需要相机内参和外参,动作说明需要任务记录,采集记录越完整,能自动完成的环节越多。
训练集要交付 LeRobot 或 RLDS 的团队也适合。export_dataset 把清单、字段映射、划分和回读校验放在一个算子里面,格式转换脚本可以省掉。
已经在用 Ray 写数据处理的团队接入成本更低。mmops 算子接收和返回 Ray Dataset,原有 Ray Data 代码可以继续用,自定义 UDF 也能挂到同一条流水线。
需要人工复核的团队可以把批量环节放在 AnalyticDB,把复核和检索放在 Lindorm。模型先给候选,人工在时间轴上校正,审核通过后再回到训练集。
手部关键点模型还在迭代的团队也适合。UDF 把模型和流水线解耦,换模型只改构造方法和输出列,抽帧、质检和导出不用重写。
常见问题
具身操作视频的动作说明能不能直接用多模态大模型生成?
可以先生成候选,不能直接当成训练标签。AnalyticDB MySQL 的 describe_video 和 describe_video_motion 能给出场景描述和带时间窗口的动作事件,annotate_tasks 的辅助模式也能生成待复核候选。候选要经过置信度过滤、规则质检和人工复核,控制标签仍要来自真实采集记录。
手部关键点和交互物体标签,AnalyticDB MySQL 有现成算子吗?
没有专门的手部关键点算子,这两类标签要用类 UDF 接自研或第三方模型。crop_image 可以先把操作区域裁出来,num_gpus 申请 GPU,模型在构造方法里加载,输出写成关节点列表、物体框、类别和 track_id,再和语义标签汇合。
LeRobot 和 RLDS 训练集导出时,质量不合格的片段会怎么处理?
进入 excluded_episodes,并带上排除原因,不会静默消失。缺报告、标识重复、序列或类型错误会让整次导出失败,回读校验通过后才产出正式目录。
自定义手部关键点模型怎么在 Ray 里只加载一次?
用类 UDF,把模型加载放在构造方法里。每个执行实例初始化一次,后续批次复用同一个模型。实例数由 ActorPoolStrategy 控制,GPU 通过 num_gpus 申请,实际并行度还受输入分块和 GPU 数量限制。
已经用 Daft 的团队,PolarDB 的 Daft on Ray 能接这条流水线吗?
能。Daft on Ray 提供 DataFrame 和 SQL 两套接口,内置 prompt、classify_image、embed_image 等 AI 函数,自定义模型可以用 @daft.cls(gpus=N) 绑定 GPU。LeRobot 和 RLDS 的导出要团队自己按目标格式写出,或者把整理好的数据交给 AnalyticDB MySQL 的 export_dataset。