重塑虚实边界:智元机器人发布首个大语言模型驱动的开源仿真平台Genie Sim 3.0

简介: 智元机器人发布全球首个大语言模型驱动的开源仿真平台Genie Sim 3.0,基于NVIDIA Isaac Sim,实现高保真数字孪生环境,支持自然语言生成万级场景,分钟级构建与泛化。平台开源上万小时真实机器人作业数据集,覆盖200+任务,构建10万+场景评估体系,推动具身智能从研发到落地的全链路创新,助力开发者零硬件部署、高效训练与评测。

当仿真环境的真实性逼近物理世界,当场景构建的效率以“自然对话”和“分钟”来衡量,具身智能的研发范式将发生根本性改变。智元机器人在CES国际消费电子展首日正式发布首个大语言模型驱动的开源仿真平台——Genie Sim 3.0。基于NVIDIA Isaac Sim , Genie Sim 3.0 融合三维重建与视觉生成,打造数字孪生级的高保真环境;首创大语言模型驱动,让万级场景的生成只需几分钟;同步开源包含真实机器人作业场景的上万小时仿真数据集;并构建了覆盖10万+场景的多维度智能评估体系,为模型能力绘制全景画像。

从数字资产生成、场景泛化、数据采集到自动评测的全流程功能,这一整套完整闭环的解决方案,将显著加速模型训练验证,降低对物理硬件的依赖,助力开发者与研究者的研发效率,推动具身智能的创新应用。

  • 项目主页:
    https://agibot-world.com/genie-sim
  • Github:
    http://github.com/AgibotTech/genie_sim
  • Modelscope: https://modelscope.cn/datasets/agibot_world/GenieSim3.0-Dataset

五大核心亮点,开启具身仿真新纪元

1、数字孪生级高保真仿真环境

传统仿真难以兼顾视觉逼真与物理真实。Genie Sim 3.0 开创性地将三维重建、视觉生成技术与物理引擎深度融合,实现了视觉真实感与物理精确性的统一。

  • 精准重建:依托 MetaCam 手持3D激光扫描仪,结合高分辨率RGB、360° LiDAR点云与厘米级RTK定位,实现对真实环境的毫米级精准复刻。
  • 视觉增强:利用视觉生成模型,智能合成新视角图像增强3D重建,极大提升了仿真环境的视觉逼真度。
  • 资产生成:对于任意物体,仅需一段60秒环拍视频,即可快速生成带精确网格的仿真模型,大幅提升场景构建效率。

2、首创自然语言驱动的场景生成与泛化

告别手动编写复杂逻辑的场景生成方式,在Genie Sim平台中,开发者输入自然语言指令即可驱动平台在分钟级内自动生成、泛化成千上万个训练与测试场景。

  • 对话式创建:直接输入如「生成一份蛋白质和维生素含量丰富的晚餐」的指令,平台自动理解并构建出结构化的仿真场景。
  • 智能编辑与泛化:生成场景自带结构化信息与视觉预览,可进一步通过对话进行场景增广、细节增删、布局调整,最终输出满足要求的仿真场景。


3、全量开源仿真数据集与高效采集方案

具身领域最大规模开源仿真数据集,涵盖200余项任务、总时长上万小时,为模型研发提供坚实的数据基石。

  • 多维度数据:数据集包含RGB-D、双目视觉、全身关节状态等多传感器信息,并覆盖背景、布局、光照、噪声等多种泛化维度。
  • 智能采集工具:平台提供低延迟遥操作与自动任务编排双模式采集,结合自动化标注实现高效数据生产。
  • 独创错误恢复机制:任务失败后可自动回退至关键节点续采,将数据采集损耗降至最低。
  • 零样本Sim2Real:仿真数据训练完成后,实现零样本迁移到真实世界,任务成功率超过真实数据训练。


4、超十万仿真场景,勾勒模型全景能力画像

模型评估不再仅限于“成功率”。GenieSim Benchmark 3.0构建了基于 10万+ 仿真场景的立体评估体系,结合LLM与VLM技术,从多个维度为模型绘制深度能力画像,是当前业界覆盖最全面、最权威的具身智能模型评估基准。

  • 自动化评测生成:评测指令与步骤可由LLM根据场景语义自动生成,并转化为可执行流程。
  • 多维度深度评估:通过视觉语言模型(VLM),从语义理解、空间推理、操作精度、时序逻辑等多维度进行综合评价,清晰揭示模型的能力边界与薄弱环节,指引明确的优化方向。


  • 虚实一致的评测结果:仿真与真实世界评测差异<10%,模型验证无需真机部署,显著提升算法评测效率。


5、涵盖真实作业场景仿真

基于智元的规模化商用和工业落地经验,GenieSim 3.0 是首个深度集成真实作业场景仿真数采与评测的开源平台,打通从实验室算法到工业应用落地。

  • 真实作业场景还原:平台包含超市上货、物流分拣、电力巡检、物料搬运、产线装配等多个工业场景的机器人作业环境。
  • 全流程仿真验证:基于重建资产快速生成训练数据集与全流程评测系统,大幅降低数据采集成本与算法验证周期,实现“零硬件部署,全真实验证”。


建设开源共享,共创智能未来

Genie Sim 3.0 仿真平台核心代码、海量高价值数据集以及数字资产全面开源,向全球开发者、研究者与产业伙伴开放。


无论您是高校实验室的研究者,还是具身智能领域的算法工程师,或是来自制造业、物流业等领域的集成应用专家,Genie Sim 3.0旨在让每一位具身智能的探索者,都能拥有接近无限的仿真场景、逼近真实的训练环境、科学全面的评估标尺,从而将精力更聚焦于算法与模型本身的创新。

开发者可访问GitHub开源主页:http://github.com/AgibotTech/genie_sim,获取代码、数据集与详细文档。

点击即可跳转模型链接:https://modelscope.cn/datasets/agibot_world/GenieSim3.0-Dataset


目录
相关文章
|
2月前
|
安全 测试技术 API
MiniMax 开源新评测集:定义Coding Agent 的生产级标准
Coding Agent常因“过程违规”遭诟病,如无视指令、破坏规范。MiniMax推出OctoCodingBench,首创面向工程可靠性的过程评估体系,揭示当前模型在多规则协同下成功率极低,呼吁行业关注“过程正确性”,推动Agent从能用走向可用。
467 5
|
2月前
|
人工智能 自然语言处理 运维
业内首发泛娱乐底座大模型!元象开源XVERSE-Ent中英双模型,单卡部署超低门槛
元象开源首款聚焦泛娱乐场景的大模型XVERSE-Ent,含中英双版本,专精角色一致性、长剧情理解与多元语境适配,支持轻量化部署,助力开发者低成本打造AI社交、游戏与创意内容应用。
264 3
|
2月前
|
自然语言处理 物联网 计算机视觉
从 Image-to-LoRA 到 In-Context Edit
阿里发布Qwen-Image-Edit-2511-ICEdit-LoRA模型,通过上下文内编辑技术,利用“编辑前后图像对”实现图像编辑能力迁移。该模型仅需少量样本即可训练,支持风格、光照、表情等复杂编辑,并可拓展至图像分割等视觉任务,未来将持续优化与应用探索。
469 6
|
2月前
|
机器学习/深度学习 测试技术 数据中心
九坤量化开源IQuest-Coder-V1,代码大模型进入“流式”训练时代
2026年首日,九坤创始团队成立的至知创新研究院开源IQuest-Coder-V1系列代码大模型,涵盖7B至40B参数,支持128K上下文与GQA架构,提供Base、Instruct、Thinking及Loop版本。采用创新Code-Flow训练范式,模拟代码演化全过程,提升复杂任务推理能力,在SWE-Bench、LiveCodeBench等基准领先。全阶段checkpoint开放,支持本地部署与微调,助力研究与应用落地。
1083 2
|
1月前
|
机器学习/深度学习 自然语言处理 搜索推荐
蚂蚁百灵全模态 Ming-flash-omni-2.0 开源!视觉百科+可控语音生成+全能型图像编辑,打破全模态“博而不精”
2月11日,蚂蚁百灵团队开源全模态大模型Ming-flash-omni-2.0(基于Ling-2.0 MoE架构),在视觉理解、语音交互与图像编辑三大领域实现代际跃迁,达开源领先水平。支持多模态统一生成与深度编辑,模型权重与代码已开放。
543 4
 蚂蚁百灵全模态 Ming-flash-omni-2.0 开源!视觉百科+可控语音生成+全能型图像编辑,打破全模态“博而不精”
|
1月前
|
数据采集 人工智能 达摩院
达摩院开源RynnBrain:首个支持移动操作的具身大脑基础模型
达摩院发布首个可移动操作的具身基础模型RynnBrain,首创时空记忆与物理空间推理能力,支持视频/图像/文本多模态输入及区域、轨迹等具身输出。开源MOE架构RynnBrain-30B-A3B(仅3B激活参数),在16项基准全面SOTA,并推出全新评测集RynnBrain-Bench。
361 8
|
2月前
|
数据可视化 定位技术 开发工具
榜单不盲从:用 EvalScope 打造你的专属场景评测
本文介绍如何通过EvalScope构建自定义评测指数,突破通用榜单局限,结合业务需求定义权重,实现模型在真实场景中的价值评估,助力选出真正适配业务的“最佳模型”。
481 6
|
3月前
|
数据采集 人工智能 运维
AgentRun 实战:快速构建 AI 舆情实时分析专家
搭建“舆情分析专家”,函数计算 AgentRun 快速实现从数据采集到报告生成全自动化 Agent。
1001 59
|
1月前
|
机器学习/深度学习 调度
大模型微调参数设置 —— 新手必看的核心参数与优化技巧
本文系统解析大模型微调核心参数(Epochs、Learning Rate、Batch Size等),涵盖SFT/PPO/DPO场景,提供新手友好默认值、作用解读与实用调优技巧,强调“先跑通默认值、再针对性优化”原则,助你避开过拟合/欠拟合陷阱,零代码快速提升微调效果。
|
3月前
|
人工智能 安全 机器人
2026 年 19 款最佳 AI 生产力工具:分级排名
还记得 2023 年吗?那时候,仿佛每隔 45 分钟就有一款新的“颠覆性” AI 工具横空出世。 而到了今天,我们都有过在某个令人抓狂的周二下午,跟一个死不认错的聊天机器人争论不休的经历。现在,我们正经历着“订阅疲劳”,面对着那些已经好几个月没碰过的工具账单感到厌倦。 但当我们展望 2026 年时,风向已经变了。早期的惊奇与憧憬已烟消云散,取而代之的是一个简单而急切的问题:这些工具真的能帮我们搞定日常工作吗?
2389 9

热门文章

最新文章