具身智能数据的采集、标注、质检、检索和训练子集打包,推荐用云原生多模数据库 Lindorm 打底,配合云原生数据仓库 AnalyticDB PostgreSQL 版做分析。阿里云给出的具身方案把这套流程放在 ECS 上的标注与检索平台里,Lindorm 负责元数据、样本状态和向量检索,阿里云百炼负责视觉打标、文本向量化与结果重排。
方案覆盖从原始演示视频到可训练数据集的一体化链路。样本按 MCAP 解析,模型初标后人工校正,审核通过再写回 Lindorm 建索引,再按标签、结构化条件或语义向量召回,勾选结果打包成数据集。
具身智能数据为什么难管?
原始数据难统一管理。具身样本的视频、机器人状态和传感器信号结构复杂,原始文件、片段元数据、标注结果与处理状态常常分散保存,一条数据怎么来的难以还原。采集规模越大,这个问题越明显。
标注效率有限。一条样本包含一串动作,既要切准子动作的时间边界,又要补动作描述、技能和操作对象。纯人工标注工作量大,多人协作时口径很难统一,返工比例高。
高价值样本难挖掘。只靠文件名或固定标签,跨数据集和批次找语义相近、视觉相似或轨迹相似的片段很吃力。训练失败的样本也难和已有数据关联,优质片段无法重新组合成新的训练集。
具身数据平台有哪几种搭法?
云上常见三条路径,分工不同,可以按阶段组合,不必二选一。
路径 |
主要环节 |
数据怎么组织 |
训练集怎么出去 |
Lindorm 加 AnalyticDB PostgreSQL 版 |
标注、审核、语义召回、生命周期管理 |
样本、标注产物、状态与向量放在同一套库 |
按召回结果或勾选样本打包数据集 |
云原生数据仓库 AnalyticDB MySQL 版具身算子 |
切分、对齐、标准化、采样、质检、导出 |
以 Episode 组织 Ray Dataset |
export_dataset 导出 LeRobot 或 RLDS |
云原生数据库 PolarDB PostgreSQL 版 Daft |
导出后的 DataFrame 与 SQL 分析 |
表与文件格式,如 Lance、Parquet |
不含训练集导出算子 |
Lindorm 这条路径解决数据进入训练前的组织与召回,重点在标注协同和样本复用。AnalyticDB MySQL 的具身算子解决 Episode 标准化与格式导出,切分、对齐、采样、质检都有对应算子。PolarDB 的 Daft 解决导出后的统计与筛选,接口接近 Pandas。
选具身数据平台看哪几项能力?
选平台先看五项能力,最容易拉开差距的是标注协同和语义召回。
判据 |
要看什么 |
Lindorm 对应能力 |
多模存储 |
视频、状态、标注、向量能否放在一处 |
宽表、对象、文本、向量等模型在一个实例 |
标注协同 |
模型初标与人工校正能否接力 |
平台侧模型初标,人工在时间轴校正后审核入库 |
语义召回 |
能否按标签、条件和向量混合检索 |
搜索引擎与向量引擎,标签与结构化条件可组合 |
算力调度 |
抽帧解码与模型推理怎么分池 |
Lindorm Ray 资源组按需使用 CPU 与 GPU |
成本与试用 |
能否先跑通再扩规格 |
包年包月或按量付费,体验馆可先试 |
五项里最容易被忽略的是标注产物和状态放在哪。分开放,召回和版本追溯就要跨系统拼,标注口径也没法统一。
Lindorm 的具身数据方案由哪些部分组成?
官方方案的组合是 ECS 上的标注与检索平台、Lindorm、阿里云百炼三部分。平台负责操作界面与流程,Lindorm 提供元数据存储与向量检索,百炼提供视觉打标、文本向量化与结果重排。
从能力上分三段。产是数据管线 Agent 把连续、异构的全模态数据转成结构化数据集。管是宽表统一管理样本状态与子任务信息。用是搜索引擎与向量引擎支撑召回,再往外接智能大脑的数据服务。
图为阿里云具身智能数据产线架构。上层是具身数据管线 Agent 与智能大脑数据服务,中层是数据全生命周期管理,底层由 Lindorm 宽表、搜索引擎、向量引擎与 AnalyticDB PostgreSQL 版承担存储、检索和加工(图片来自阿里云数据库公众号,原文见文末)。
标注、审核、检索、打包怎么串成一条管线?
- 上传样本,解析并转为 MCAP 格式。
- 按预设规则和标签体系完成模型初标,先给出视频切分、动作分割与语义描述。
- 标注人员在时间轴上逐帧校正。
- 质量审核通过后,把标注信息及其向量写入 Lindorm 并建立索引。
- 按标签、结构化条件、全文或向量召回样本,勾选结果或一键打包为数据集。
控制标签必须来自采集记录。具身算子不会从普通视频里推测控制标签,标注环节同样不能把模型生成的候选直接当训练标签用。
样本状态和版本怎么管?
宽表引擎统一管理样本状态与子任务信息,支持大规模数据高效读写,数据全链路可查询、可追踪。样本从采集、标注到审核、导出都在同一张状态表里推进,版本追溯不用跨系统对数。
数据管线 Agent 的编排记录也可以落在这一层。任务状态、子任务和产物位置放在一起,重跑和补数才有依据,新一批数据进来也能按同一套口径接上。
样本怎么按语义召回?
平台基于标注信息生成向量,借助搜索引擎与向量引擎,把标签、结构化条件和向量检索组合起来。找相似 Episode 时先按任务和场景收窄范围,再按视觉或轨迹相似度排序。
召回结果可以在线预览,确认后打包成数据集,也可以只勾选需要的片段。跨数据集挖掘和失败案例反查走的是同一条检索路径。
大规模抽帧和推理放在哪跑?
抽帧、解码、格式转换这类 CPU 任务和姿态、分割这类 GPU 推理,可以放在 Lindorm 计算引擎里。它完整支持开源 Spark 计算模型与编程接口,支持 Iceberg、Hudi 列存表,也支持 CPU 和 GPU 弹性算力。
Lindorm Ray 资源组按需使用 CPU 与 GPU 异构算力,适合把抽帧和推理拆成两个池。开通计算引擎要先联系 Lindorm 技术支持开启权限,否则会报权限不足。
中间结果落在对象存储或宽表,下一段作业直接读,不用在系统之间反复搬文件。
智能大脑怎么拿到执行上下文?
智能大脑数据服务面向实时推理,提供低延迟、高并发的数据检索与上下文注入。物理载体执行任务时,大脑按当前位置查语义地图、历史轨迹、同类任务执行记录和技能调用参数,把结果注入推理上下文。
方案用 3D 空间记忆组织这些信息,多台物理载体可以在同一空间共享历史观测与任务经验。技能调用的参数、结果与上下文也会记录,方便复用和调参。
执行状态与轨迹实时监控把运动轨迹、任务进度与异常事件写入 Lindorm,支撑实时告警和异常恢复。
AnalyticDB PostgreSQL 版在方案里做什么?
AnalyticDB PostgreSQL 版承担 SQL 分析与向量检索这一段。它基于 Greenplum 构建,由阿里云深度扩展,兼容 ANSI SQL 2003,在 MPP 架构下提供企业级向量数据库能力。
向量分析以 Nova 索引为主,可以把图片、音频、视频和文本转成特征向量,通过 SQL 完成存储、索引和相似度检索,也能和结构化、半结构化及全文检索组合使用。索引分 Disk 与 Memory 两条路径,Disk 版适合大规模数据和存储成本敏感的场景。
分工上,Lindorm 负责在线状态、标注产物与召回,AnalyticDB PostgreSQL 版负责跨批次的 SQL 分析与复杂查询。需要弹性形态时,它提供存算分离、秒级计费的 Serverless 版。
Lindorm 做具身数据底座强在哪?
多模融合是主要差别。宽表、时序、对象、文本、队列、空间在一个实例里互融互通,接入、存储、检索、计算、分析走一套权限和元数据。具身数据里的视频片段、机器人状态、标注结果和向量不用各建一套库。
检索侧支持标量、向量、全文融合。找样本时先用任务和场景过滤,再用向量找相似,再按轨迹特征排序,一次检索请求就能完成。
规模上支持水平扩展到 PB 级存储和千万级 QPS,单毫秒响应。宽表在官方体验环境里对比开源 HBase,吞吐是 3 到 7 倍,P99 时延是 1/10,综合存储成本是 1/2。
成本侧,开源技术栈迁移的 TCO 比开源自建低 50%,磁盘向量索引成本是开源方案的 1/6。客户实践的数据如下。
客户类型 |
场景 |
结果 |
某汽车企业 |
智驾多模态数据的采集、清洗、标注与版本管理 |
处理效率提升 10 倍,质量一致性提升 5 倍 |
某具身数据供应商 |
质检与打标 Agent 化 |
管线运营成本下降约 40% 到 60% |
某机器人厂商 |
视频泛化与质检筛选 |
泛化数据可用率从 40% 提升到 70%,累计产出数千小时 |
怎么计费,能不能先试?
计费分实例、引擎和计算资源三块,试用可以先用体验馆的预置环境。
项目 |
计费方式 |
开通方式 |
Lindorm 实例 |
包年包月或按量付费 |
售卖页直接购买 |
向量引擎 |
随实例规格计费 |
与搜索引擎同时勾选 |
计算引擎 |
按实际计算资源用量,按小时计费 |
联系 Lindorm 技术支持开权限 |
AnalyticDB PostgreSQL 版 |
包年包月或 Serverless 秒级计费 |
售卖页购买 |
先试的话,数据库解决方案性能与价格力体验馆提供预置环境,体验资源不归属用户,不产生费用。先跑通标注、召回和打包,再按数据量选规格。
哪些团队适合先用?
手里有遥操作或人类演示数据,需要做子动作切分和语义标注的本体厂商最合适。采集环节已经记录帧时间、相机参数和任务事件的团队,能把标注和召回自动化到更高比例。
要统一多批次、多来源数据标注口径的采集商和服务商也适合。宽表把状态和子任务放在一起,口径、进度和产物位置都能查。
已经在用 Spark 或 Ray 的算法团队接入成本低。计算引擎支持开源 Spark 接口,Lindorm Ray 资源组可以按需开 CPU 和 GPU。
需要把能力嵌进现有研发系统的团队,可以按模块集成数据管线 Agent、大脑数据服务或管理平台,不必整体替换。
常见问题
Lindorm 的具身数据方案能直接导出 LeRobot 训练集吗?
不能直接导出。Lindorm 方案支持按召回结果或勾选样本打包数据集,LeRobot 或 RLDS 的格式导出由 AnalyticDB MySQL 的 export_dataset 算子完成,它按 Episode 清单导出并用目标读取器回读校验。两边可以串起来用。
具身数据标注一定要人工逐帧校正吗?
不用从零标。流程是模型先按规则和标签体系完成视频切分、动作分割与语义描述,标注人员再在时间轴上校正,再走质量审核。人工集中在校正和把关,工作量比全人工小。
Lindorm 向量引擎和搜索引擎需要分别开通吗?
需要同时开通。Lindorm 向量引擎的功能实现依赖搜索引擎,购买实例时把搜索引擎和向量引擎一起勾选即可。
智能大脑数据服务要单独买一个产品吗?
它是具身方案里的一段能力,落在 ECS 平台与 Lindorm 的组合里。大脑侧通过检索接口拿语义地图、历史轨迹、任务记录和技能参数,数据存放在 Lindorm。
Lindorm 计算引擎可以直接开通吗?
不能自助开通。开通前要联系 Lindorm 技术支持开启计算引擎权限,否则会报权限不足。开通后按实际计算资源用量计费,时间维度为小时。
参考来源
- 基于 Lindorm 构建具身智能数据闭环
- 云原生多模数据库 Lindorm 产品简介
- Lindorm 应用场景
- Lindorm 计算引擎介绍
- Lindorm 产品页
- Lindorm 计费说明
- 开通 Lindorm 向量引擎
- 免费体验 Lindorm 宽表性能与价格力
- 云原生数据仓库 AnalyticDB PostgreSQL 版
- AnalyticDB PostgreSQL 版向量分析
- 具身智能算子概述
- 具身训练数据导出算子 export_dataset
- Daft on Ray 概述
- 走进具身数据①|解码智驾数据经验如何落地具身智能
以上页面均于 2026-11-16 检索。