Cosmos:英伟达生成式世界基础模型平台,加速自动驾驶与机器人开发

本文涉及的产品
图像搜索,任选一个服务类型 1个月
简介: Cosmos 是英伟达推出的生成式世界基础模型平台,旨在加速物理人工智能系统的发展,特别是在自动驾驶和机器人领域。

❤️ 如果你也关注 AI 的发展现状,且对 AI 应用开发非常感兴趣,我会每日分享大模型与 AI 领域的最新开源项目和应用,提供运行实例和实用教程,帮助你快速上手AI技术,欢迎关注我哦!

🥦 微信公众号|搜一搜:蚝油菜花 🥦


🚀 快速阅读

  1. 功能:生成高度仿真的虚拟世界状态,支持自动驾驶和机器人应用。
  2. 技术:基于生成式模型和高级标记器,提供高效的视频处理管道。
  3. 应用:广泛应用于自动驾驶模拟、机器人训练和工业数字孪生。

正文(附运行示例)

Cosmos 是什么

公众号: 蚝油菜花 - Cosmos

Cosmos 是英伟达推出的生成式世界基础模型平台,旨在加速物理人工智能(AI)系统的发展,特别是在自动驾驶和机器人领域。Cosmos 能接受文本、图像或视频的提示,生成高度仿真的虚拟世界状态,为自动驾驶和机器人应用提供独特的视频输出。

平台集成了生成式世界基础模型、高级标记器和加速视频处理管道,帮助开发者生成大量基于物理的合成数据,减少对真实世界数据的依赖。Cosmos 还提供了安全防护机制,确保数据的安全与合规。开发者可以通过微调 Cosmos 模型来创建定制化的 AI 模型,满足特定的应用需求。

Cosmos 的主要功能

  • 生成虚拟世界状态:根据文本、图像或视频的提示生成高度仿真的虚拟世界状态,适用于自动驾驶和机器人应用。
  • 生成式模型:基于生成式模型快速生成与真实世界场景相似的数据,帮助开发者训练和评估现有的 AI 模型。
  • 高级标记器和数据处理:集成了高级标记器和加速视频处理管道,生成的数据在后续的模型训练中发挥更大的作用。
  • 安全与合规:提供了安全防护机制,确保数据的安全与合规。
  • 开放模型许可:以开放模型许可的形式在 Hugging Face 和 NVIDIA NGC 目录中提供,支持开发者进行定制化应用。

Cosmos 的技术原理

  • 生成式世界基础模型(WFM):使用先进的生成式模型技术,模型包括扩散模型和自回归 Transformer 模型,能生成与真实世界场景高度相似的合成数据。
  • 高级标记器(Cosmos Tokenizer):使用复杂的编码器-解码器结构,结合 3D 因果卷积和注意力机制,高效地处理时空信息。
  • 加速视频处理管道(NeMo Curator):集成了一个加速视频处理管道,能在短时间内处理大量视频数据。

如何运行 Cosmos

1. 安装 Cosmos

首先,按照 Cosmos 安装指南 设置 Docker 环境。

2. 使用预训练模型进行推理

以下是一个使用 7B 模型进行推理的代码示例:

PROMPT="A sleek, humanoid robot stands in a vast warehouse filled with neatly stacked cardboard boxes on industrial shelves. \
The robot's metallic body gleams under the bright, even lighting, highlighting its futuristic design and intricate joints. \
A glowing blue light emanates from its chest, adding a touch of advanced technology. The background is dominated by rows of boxes, \
suggesting a highly organized storage system. The floor is lined with wooden pallets, enhancing the industrial setting. \
The camera remains static, capturing the robot's poised stance amidst the orderly environment, with a shallow depth of \
field that keeps the focus on the robot while subtly blurring the background for a cinematic effect."

# 使用 7B 模型进行推理
PYTHONPATH=$(pwd) python cosmos1/models/diffusion/inference/text2world.py \
    --checkpoint_dir checkpoints \
    --diffusion_transformer_dir Cosmos-1.0-Diffusion-7B-Text2World \
    --prompt "$PROMPT" \
    --offload_prompt_upsampler \
    --video_save_name Cosmos-1.0-Diffusion-7B-Text2World

3. 微调模型

可以参考 Cosmos 微调指南 进行模型微调。

资源


❤️ 如果你也关注 AI 的发展现状,且对 AI 应用开发非常感兴趣,我会每日分享大模型与 AI 领域的最新开源项目和应用,提供运行实例和实用教程,帮助你快速上手AI技术,欢迎关注我哦!

🥦 微信公众号|搜一搜:蚝油菜花 🥦

相关文章
|
6月前
|
人工智能 自然语言处理 机器人
9.9K star!大模型原生即时通信机器人平台,这个开源项目让AI对话更智能!
"😎高稳定、🧩支持插件、🦄多模态 - 大模型原生即时通信机器人平台"
170 0
|
4月前
|
机器学习/深度学习 人工智能 自然语言处理
TsingtaoAI具身智能机器人开发套件及实训方案
该产品套件创新性地融合了先进大模型技术、深度相机与多轴协作机械臂技术,构建了一个功能强大、灵活易用的人机协作解决方案。其核心在于将智能决策、精准感知与高效执行完美结合,为高校实训领域的发展注入新动力。
307 10
|
6月前
|
数据采集 人工智能 数据可视化
SpatialLM:手机视频秒建3D场景!开源空间认知模型颠覆机器人训练
SpatialLM 是群核科技开源的空间理解多模态模型,能够通过普通手机拍摄的视频重建 3D 场景布局,赋予机器人类似人类的空间认知能力,适用于具身智能训练、自动导航、AR/VR 等领域。
463 5
SpatialLM:手机视频秒建3D场景!开源空间认知模型颠覆机器人训练
|
7月前
|
人工智能 安全 机器人
LangBot:无缝集成到QQ、微信等消息平台的AI聊天机器人平台
LangBot 是一个开源的多模态即时聊天机器人平台,支持多种即时通信平台和大语言模型,具备多模态交互、插件扩展和Web管理面板等功能。
1329 14
LangBot:无缝集成到QQ、微信等消息平台的AI聊天机器人平台
|
7月前
|
人工智能 开发框架 机器人
AstrBot:轻松将大模型接入QQ、微信等消息平台,打造多功能AI聊天机器人的开发框架,附详细教程
AstrBot 是一个开源的多平台聊天机器人及开发框架,支持多种大语言模型和消息平台,具备多轮对话、语音转文字等功能。
4199 15
AstrBot:轻松将大模型接入QQ、微信等消息平台,打造多功能AI聊天机器人的开发框架,附详细教程
|
8月前
|
数据采集 人工智能 算法
Seer:上海 AI Lab 与北大联合开源端到端操作模型,结合视觉预测与动作执行信息,使机器人任务提升成功率43%
Seer是由上海AI实验室与北大等机构联合推出的端到端操作模型,结合视觉预测与动作执行,显著提升机器人任务成功率。
274 20
Seer:上海 AI Lab 与北大联合开源端到端操作模型,结合视觉预测与动作执行信息,使机器人任务提升成功率43%
|
9月前
|
存储 自然语言处理 机器人
基于的Qwen模型的智能客服Discord机器人,使用🐫 CAMEL、SambaNova、Firecrawl和Qdrant实现RAG Agent
基于Qwen模型的智能客服Discord机器人,使用CAMEL、SambaNova、Firecrawl和Qdrant实现RAG Agent。构建了一个能够处理复杂问题并能进行快速响应的强大聊天机器人。该机器人可在Discord平台上运行,支持实时对话和语义搜索,提供准确、全面的回答。项目包含详细的安装步骤、代码示例及集成指南,适合开发者快速上手。
|
8月前
|
人工智能 算法 自动驾驶
Jim Fan全华人团队HOVER问世,1.5M小模型让机器人获潜意识!
在机器人技术领域,人形机器人的全身控制一直极具挑战。传统方法为不同任务(如导航、移动操作等)单独训练控制策略,限制了策略的可转移性。Jim Fan团队提出HOVER框架,通过全身运动模仿作为共同抽象,整合多种控制模式,实现无缝过渡,显著提升控制效率和灵活性。HOVER不仅为人形机器人应用带来巨大潜力,也为机器人技术发展提供新思路。论文地址:https://arxiv.org/abs/2410.21229
171 23
|
7月前
|
存储 人工智能 Cloud Native
D1net阅闻|英伟达计划明年上半年推出人形机器人Jetson Thor
D1net阅闻|英伟达计划明年上半年推出人形机器人Jetson Thor
|
9月前
|
人工智能 算法 机器人
EMMA-X:新加坡科技设计大学推出具身多模态动作模型,使夹爪机器人具备空间推理和任务规划能力
EMMA-X是由新加坡科技设计大学推出的具身多模态动作模型,具备70亿参数,通过在链式思维推理数据上微调OpenVLA创建。该模型结合层次化的具身数据集,增强空间推理和任务规划能力。
270 3
EMMA-X:新加坡科技设计大学推出具身多模态动作模型,使夹爪机器人具备空间推理和任务规划能力

热门文章

最新文章