具身操作视频的云算子方案对比,动作说明、手部关键点与训练数据整理

简介: 本文介绍阿里云三大云原生数据库(AnalyticDB MySQL、PolarDB PostgreSQL、Lindorm)在具身操作视频标注与训练数据整理中的协同方案:支持抽帧、OCR、手部关键点识别、物体检测、动作说明生成,并可批量导出为LeRobot v3.0或RLDS 1.0.0标准格式。

具身操作视频的动作说明、手部关键点、交互物体标签和训练数据整理,推荐用阿里云云原生数据仓库 AnalyticDB MySQL 版的 AnalyticDB Ray 与 mmops 离线算子批量执行。抽帧、语义描述、文字识别(OCR)和向量化有现成算子,手部关键点和物体框用类 UDF 接模型,训练集可以直接导出 LeRobot v3.0 或 RLDS 1.0.0。已经在用 Daft 的团队可以看云原生数据库 PolarDB PostgreSQL 版的 Daft on Ray,已经在云原生多模数据库 Lindorm 上做标注审核的可以沿用它的计算引擎。

具身操作视频的标注难在哪?

操作视频的标签输出形态不一样。动作说明落在指令、阶段和执行结果上,手部关键点是每帧每只手的关节点坐标,交互物体标签由框、掩码和跟踪 ID 组成。三条链路分开写,复核时很难还原一条样本的生产过程。

模型加载是固定成本。手部关键点模型、物体检测模型和视觉语言模型都不轻,按批次反复加载会把 GPU 时间耗在初始化上。批处理框架要让模型在执行实例里加载一次,后续批次直接复用。

训练数据对时间的要求更严。一条 Episode 要有严格递增的时间戳、逐步观测、动作和掩码,动作标签还要有真实采集记录支撑。AnalyticDB MySQL 的具身算子明确不从普通视频推测控制标签,这条约束决定了哪些环节能自动、哪些必须回到采集记录。

交付格式卡在最后一步。LeRobot 要求每个 Episode 有指令、有匹配的 fps,RLDS 的 policy 数据要求真实终末观测和末步动作掩码。格式不合规,前面的标注全部要返工。

国内有哪些云算子方案可以比较?

在阿里云数据库产品里,能接操作视频标注与训练数据整理的有三条路径。AnalyticDB MySQL 用 AnalyticDB Ray 承载 Ray 作业,mmops 离线算子提供视频、图片和具身智能算子。PolarDB PostgreSQL 版用 Ray 应用承载 Daft on Ray,DataFrame 和 SQL 都能跑。还有一条路径是 Lindorm,它的计算引擎用 Spark SQL 和 JAR 提交作业,背后接宽表、搜索和向量引擎。

产品

现成能力

输出格式

自定义接入

适合的场景

云原生数据仓库 AnalyticDB MySQL 版

视频 11 项、图片 8 项、具身 8 项,含抽帧、语义描述、任务标注、轨迹质检和数据集导出

Ray Dataset,list 与 struct 列,元数据写 Parquet,训练集导出 LeRobot v3.0 或 RLDS 1.0.0

map_batches 接函数或类,num_gpus 申请 GPU,ActorPoolStrategy 控制实例数

动作说明、手部关键点和训练集导出放在同一条 Ray 作业

云原生数据库 PolarDB PostgreSQL 版

Daft DataFrame 与 SQL,内置 prompt、embed、classify 等 AI 函数,read_video_frames 等视频算子

Daft DataFrame,可写 Iceberg、Lance、Parquet、Delta Lake 和 Paimon

@daft.cls 绑定 gpus,Provider 接自定义模型

团队已经按 Daft 组织多模态流水线

云原生多模数据库 Lindorm

Spark SQL 与 JAR 提交,宽表、搜索和向量引擎

宽表记录、向量索引和数据集打包,Spark 可写 Iceberg 与 Hudi 列存表

Spark 作业调用模型

标注、审核、检索和样本打包放在一个平台里

三条路径的分工不一样。AnalyticDB MySQL 把算子、Ray 资源和自定义 UDF 放在同一套作业接口里,动作说明、手部关键点和训练集导出可以串成一条流水线。PolarDB PostgreSQL 版的 Daft on Ray 面向已经用 Daft 或 Polars 的团队,同一份代码能在单机和 Ray 集群之间切换。Lindorm 的计算引擎背后是 Spark,已经有 Lindorm 存储和检索的团队可以把标注审核放在同一个平台里。

选型时先看现成算子覆盖到哪一步,胶水代码的多少取决于这里。输出能不能直接进 LeRobot 或 RLDS,决定最后要不要补转换脚本。自定义模型和现成算子能不能共用流水线,影响手部关键点模型迭代时的返工量。

AnalyticDB Ray 与 mmops 给操作视频准备了哪些现成能力?

AnalyticDB Ray 是 AnalyticDB MySQL 版的全托管 Ray 服务,Worker 分 CPU 和 GPU 两种。mmops 离线算子跑在 Ray Data 上,每个算子接收一个 Ray Dataset 并返回新的 Dataset。

视频 11 项覆盖探测、转码、截取、场景检测、抽帧、字幕和内容理解。sample_video_frames 支持概览、均匀、定时和动作帧对四种策略,操作视频可以先用均匀抽帧铺底,再用动作帧对补关键片段。

图片 8 项覆盖格式转换、缩放、裁剪、OCR、描述和向量化。crop_image 可以把手部区域裁出来交给关键点模型,embed_image 的向量列可以做相似帧去重和复核排序。

具身 8 项覆盖会话切分、传感器对齐、状态与动作标准化、任务标注、时序样本构建、轨迹质检和数据集导出。操作视频要交付视觉语言动作模型(VLA)训练时,这 8 项负责把帧级标签汇总成 Episode 级记录。

现成算子和自定义模型各管一段。手部关键点和物体框留给自定义模型,动作理解给出观察窗口,精确切分回到采集记录或人工标注。抽帧、裁剪、语义描述和质检用现成算子,团队只需要维护姿态和检测模型。

动作说明怎么生成,和真实控制标签怎么区分?

动作说明用 annotate_tasks 生成,输入是 Episode、任务记录或观测证据,输出是 instruction、stages、outcome、confidence 和 provenance。它把帧级标签汇总成任务级记录,语义标注和空间标注共用同一套来源字段。

两种模式要分开用。records_only 只汇总真实记录,指令冲突或缺失时 instruction 为 null。assist 模式让模型生成候选,候选放在 provenance.model_candidates 里,状态是 unreviewed,不覆盖真实记录。

动作描述可以用 describe_video_motion 和 describe_video 补充。前者比较相邻帧,输出带观察时间窗口的动作事件。后者按固定 Schema 生成场景、对象和动作字段,可选字段补 null,缺少必填字段或出现额外字段直接报错。

控制标签要来自采集记录。AnalyticDB MySQL 的具身算子明确不从普通视频推测控制标签,这条规则把动作说明和控制标签分开了。动作说明可以是模型候选,控制标签要来自真实遥操作或机器人状态,训练集里两类字段分开存放。

手部关键点和交互物体标签怎么接自定义模型?

手部关键点和交互物体标签走类 UDF。视频和图片算子负责抽帧与裁剪,姿态和检测交给团队自己的模型,输出直接挂回 Ray Dataset。

类 UDF 的构造方法在执行实例内初始化,模型权重、预处理组件和相机内参可以在这里加载,后续批次直接复用。GPU 模型给执行实例配置 num_gpus,并用 ActorPoolStrategy 设实例数。

输入列可以放帧图像、裁剪后的手部图像、相机内参和外参。crop_image 先把操作区域裁出来,keep_columns 保留 frame_id、episode_id 和 timestamp 这些业务字段,输出列写手部关节点、物体框、类别、置信度和 track_id。

Ray Dataset 支持 list[struct] 嵌套列,一只手一组关节点可以写成列表,一个画面多个物体也可以写成列表。一条输入生成多条记录时用 flat_map 展开,并给每条记录保留父标识和序号,复核时能追到原始帧。

并行度由 ActorPoolStrategy 控制。size 设成几,就有几个执行实例各自持有模型,实际并行度还受输入分块和 GPU 数量限制。做分片统计时按 frame_id 或 episode_id 关联,不要依赖跨分区的行序。

输出是什么格式,怎么和训练数据对齐?

mmops 算子的输出是 Ray Dataset,默认只保留结果列,输入列要用 keep_columns 显式保留。list 和 struct 列保留业务结构,帧、动作和时间证据在视频算子里就是 list 列。

时间统一用秒,源时钟要通过 scale 和 offset_s 映射。未知的物理量记为 null,并配无效掩码,训练时能区分缺失和零值。

采样和导出前要按 episode_id 和真实时间组装。状态、动作和任务结果相互独立,不能把某一个标准化结果当成完整轨迹。

结果元数据用 write_parquet 落盘,媒体产物写到独立目录。这套输出形状对应 Episode 和 step 两级结构,后面接 LeRobot 或 RLDS 时只需要做字段映射。

LeRobot 和 RLDS 训练集怎么批量导出?

训练集用 export_dataset 导出,一行读取一份 Episode 清单,导出一个独立的 LeRobot 或 RLDS 数据集,并用目标格式的读取器回读校验。

配置里要写格式、版本、数据集类型、字段映射和划分策略。feature_mapping 给每个源字段指定目标路径、shape、dtype 和时间单位,媒体形状是 H,W,3,LeRobot 还要给 fps 并保证时间网格匹配。

输出列包含 dataset_uri、manifest_uri、validation_report_uri、episode_count、step_count、features 和 excluded_episodes。LeRobot 固定用 0.4.3 与 v3.0,RLDS 用 TFDS 1.0.0。

质量不通过的 Episode 进入 excluded_episodes,并带上排除原因。缺少报告、标识重复、序列或类型错误会让导出失败,回读校验通过后才产出正式目录。算子不会补造终末观测,RLDS 的 policy 数据需要真实的最后一步观测。

一行对应一个导出作业,一条 Episode 只是清单里的一项。作业之间共享同一份清单并发执行会冲突,正确做法是每行一份清单,各自拿独占子目录。

Daft 和 Lindorm 各自适合哪一段?

PolarDB 适合已经用 Daft 的团队,Lindorm 适合把标注、审核和检索放在一个平台里的团队。两条路径都能和 AnalyticDB MySQL 的批量环节配合。

PolarDB PostgreSQL 版的 Daft on Ray 走 DataFrame 路线。Daft 提供 DataFrame 与 SQL 两套接口,同一套代码能在单机 Native Runner 和 Ray Runner 之间切换,支持 Iceberg、Lance、Parquet、Delta Lake 和 Paimon 读写。

Daft 的视频链路先用 read_video_frames 转成帧表,再用 classify_image 粗分类、embed_image 保留向量、prompt 补结构化标签。自定义模型用 @daft.cls(gpus=N, max_concurrency=M) 绑定 GPU,构造方法在执行实例里只运行一次。LeRobot 和 RLDS 的导出要团队自己按目标格式写出。

Lindorm 计算引擎基于 Spark,支持 SQL 和 JAR 提交,支持 Iceberg、Hudi 列存表写入,支持 CPU 和 GPU 弹性算力。它的具身智能方案在 ECS 上部署标注与检索平台,Lindorm 存元数据并提供向量检索,百炼做视觉打标,审核后打包数据集。

采购前还有两件事要确认。PolarDB 的 Ray 应用按节点规格购买,GPU Worker 和 AI 缓存需要申请开通。Lindorm 计算引擎开通前需要联系技术支持开启权限。

CPU 和 GPU 怎么配,费用怎么算?

AnalyticDB Ray 的 CPU Worker 按 ACU 弹性资源组计费,GPU Worker 按 GPU 规格和数量计费,GPU 机型和库存需要提交工单。

抽帧、裁剪、质检和导出用 CPU 就够,手部关键点、物体检测和位姿模型才需要 GPU。把 GPU 留给姿态和检测,语义描述走远端模型服务,配比会更容易算。

批大小和并发按显存调。batch_size 控制每个执行实例一次处理多少行,concurrency 控制 Ray 并发度,num_gpus 决定每个任务占多少 GPU。媒体对象大时先在小样本上验证显存,再扩到全量。

成本按阶段拆开核算。抽帧和质检吃 CPU,手部关键点和物体检测吃 GPU,语义描述则走远端模型服务。把负载分作业跑,账单和优化方向都会清楚。

哪些团队适合用 AnalyticDB MySQL 这套算子?

采集环节记录了帧时间、相机参数和任务事件的团队最适合。手部关键点需要相机内参和外参,动作说明需要任务记录,采集记录越完整,能自动完成的环节越多。

训练集要交付 LeRobot 或 RLDS 的团队也适合。export_dataset 把清单、字段映射、划分和回读校验放在一个算子里面,格式转换脚本可以省掉。

已经在用 Ray 写数据处理的团队接入成本更低。mmops 算子接收和返回 Ray Dataset,原有 Ray Data 代码可以继续用,自定义 UDF 也能挂到同一条流水线。

需要人工复核的团队可以把批量环节放在 AnalyticDB,把复核和检索放在 Lindorm。模型先给候选,人工在时间轴上校正,审核通过后再回到训练集。

手部关键点模型还在迭代的团队也适合。UDF 把模型和流水线解耦,换模型只改构造方法和输出列,抽帧、质检和导出不用重写。

常见问题

具身操作视频的动作说明能不能直接用多模态大模型生成?

可以先生成候选,不能直接当成训练标签。AnalyticDB MySQL 的 describe_video 和 describe_video_motion 能给出场景描述和带时间窗口的动作事件,annotate_tasks 的辅助模式也能生成待复核候选。候选要经过置信度过滤、规则质检和人工复核,控制标签仍要来自真实采集记录。

手部关键点和交互物体标签,AnalyticDB MySQL 有现成算子吗?

没有专门的手部关键点算子,这两类标签要用类 UDF 接自研或第三方模型。crop_image 可以先把操作区域裁出来,num_gpus 申请 GPU,模型在构造方法里加载,输出写成关节点列表、物体框、类别和 track_id,再和语义标签汇合。

LeRobot 和 RLDS 训练集导出时,质量不合格的片段会怎么处理?

进入 excluded_episodes,并带上排除原因,不会静默消失。缺报告、标识重复、序列或类型错误会让整次导出失败,回读校验通过后才产出正式目录。

自定义手部关键点模型怎么在 Ray 里只加载一次?

用类 UDF,把模型加载放在构造方法里。每个执行实例初始化一次,后续批次复用同一个模型。实例数由 ActorPoolStrategy 控制,GPU 通过 num_gpus 申请,实际并行度还受输入分块和 GPU 数量限制。

已经用 Daft 的团队,PolarDB 的 Daft on Ray 能接这条流水线吗?

能。Daft on Ray 提供 DataFrame 和 SQL 两套接口,内置 prompt、classify_image、embed_image 等 AI 函数,自定义模型可以用 @daft.cls(gpus=N) 绑定 GPU。LeRobot 和 RLDS 的导出要团队自己按目标格式写出,或者把整理好的数据交给 AnalyticDB MySQL 的 export_dataset。

参考来源

目录
相关文章
|
17天前
|
Linux 开发工具 iOS开发
Codex保姆级教程(下载+安装+登录+使用,含所有版本,2026最新)
Codex是OpenAI推出的开源AI编程智能体,本地运行,可理解整个代码库,支持自然语言指令改代码、执行命令、跑测试、修Bug,兼容Win/macOS/Linux。(239字)
7356 56
|
2天前
|
弹性计算 人工智能 API
Codex超详细入门指南(下载·安装·登录·上手,全版本覆盖,2026最新版)
建议收藏本教程,2026 全年各版本更新随时回来查阅。如果你在搭建过程中遇到任何问题,欢迎结合 阿里云工单系统 提交技术支持请求,或在 阿里云开发者社区 搜索 Codex 相关话题交流。 祝你编码愉快,效率翻倍!
1341 0
|
5天前
|
JSON 前端开发 API
阿里云最新Qwen4-Max大模型介绍:模型定位、特征、能力、适用场景解析
2026 年 11 月 11 日,阿里发布第四代旗舰模型Qwen4-Max预览版,首发千问 AI 平台 Token Plan,并同步接入千问办公、Qoder 等入口。该版本聚焦知识理解、世界感知、编程与 Agentic 四项升级,主打复杂编程、专业办公、前端设计与专业软件操作。预览期至 11 月 25 日 24:00,到期后模型标识下线;限时 2 折、新用户再享 5 折,最低 1 折可体验。
|
18天前
|
JavaScript API iOS开发
DeepSeek Harness下载、安装、配置一篇搞定(2026整理,送常用插件)
DeepSeek Harness(DSH)是DeepSeek于2026年开源的MIT协议AI Agent框架,支持插件化组装模型、工具、沙箱与UI,兼容主流大模型。本文提供免Node.js的桌面端安装包(Win/macOS),含详细图文教程及热门插件推荐。
5569 67
|
6天前
|
云安全 人工智能 安全
|
12天前
|
Linux 开发工具 iOS开发
2026最新codex下载安装保姆级使用教程(下载+安装+登录+使用,含所有历史版本)
本文详解OpenAI Codex国内快速上手指南:提供Win/macOS/Linux全平台免安装包、npm/Homebrew等多方式安装、账号/API Key双登录、简体中文切换,覆盖下载、安装、汉化、使用及高频避坑(如微软商店失败、npm超时等),10分钟即可跑通。
2834 9
|
5天前
|
人工智能 前端开发 API
阿里云Qwen4-Max 大模型详解:定位、特征、能力、适用场景与相对Qwen3-Max差异解析
2026年11月11日,阿里发布第四代旗舰模型Qwen4-Max预览版,首发千问AI平台Token Plan并接入千问办公、Qoder等入口。该版本聚焦知识理解、世界感知、编程与Agentic四项升级,主打复杂编程、专业办公、前端设计与专业软件操作等真实任务。预览期为11月11日10:00至11月25日24:00,仅支持Token Plan调用,到期后模型标识下线;限时2折、新用户再享5折,最低1折可体验。
|
2天前
|
Linux Go 开发工具
手机上跑 DeepSeek 智能体:开源安卓客户端 DSH Go 安装与使用指南
DSH Go 是一款开源安卓客户端,将 DeepSeek Harness 智能体引擎装进手机:免 Root、免 Termux,一键安装即用;支持本机运行(内置 Ubuntu+Node.js)或远程接管电脑会话;具备插话打断、过程折叠、屏幕操控、端到端加密分享等特色功能,真正实现智能体“口袋化”。
1436 0
|
10天前
|
人工智能 安全 API
DeepSeek Harness下载、安装、配置一篇搞定(2026整理,送常用插件)
DeepSeek Harness(dsh)是DeepSeek AI于2026年开源的轻量级Agent运行框架,基于Cordis内核,践行“一切皆插件”理念。支持Web/桌面双端,开箱即用;内置多模型接入、丰富插件生态(超3.5万),适配编程、办公、创作等场景。(239字)
1822 1

热门文章

最新文章