NVIDIA Isaac Sim 入门教程(一)(上)

简介: NVIDIA Isaac Sim 入门教程(一)

前言

 


 

一、 NVIDIA Omniverse™ Isaac Sim 是什么?

       NVIDIA Omniverse™ Isaac Sim 是一款适用于 NVIDIA Omniverse™ 平台的机器人仿真工具包。Isaac Sim 具有构建虚拟机器人世界和实验的基本功能。它为研究人员和从业人员提供了创建稳健、物理精确的仿真和合成数据集所需的工具和工作流程。Isaac Sim 通过 ROS/ROS2 支持导航和操纵应用。它可以模拟来自 RGB-D、激光雷达和 IMU 等传感器的传感器数据,用于域随机化、地面实况标记、分割和边界框等各种计算机视觉技术。

1.1  系统架构

1.2 开发流程

1.3 Omniverse 套装

Omniverse Isaac Sim 使用英伟达™ Omniverse™ Kit SDK,这是一个用于构建原生 Omniverse 应用程序和微服务的工具包。Omniverse Kit通过一系列轻量级插件提供了多种功能。插件采用C语言接口编写,以实现持久的API兼容性;不过,还提供了一个Python解释器,以方便用户编写脚本和进行定制。

Python API 可用于编写 Omniverse Kit 的新扩展或 Omniverse 的新体验。

提示

如需更深入地了解如何使用工具包进行开发,请参阅《工具包编程手册》。

1.4 Omniverse Nucleus

       Omniverse Isaac Sim 使用英伟达™ Omniverse™ Nucleus 访问环境和机器人的USD文件等内容。Omniverse Nucleus服务允许各种客户端应用程序、渲染器和微服务共享和修改Omniverse Isaac Sim中的虚拟世界。

       Nucleus以发布/订阅模式运行。根据访问控制,Omniverse 客户端可以向 Nucleus 数据库(DB)发布对数字资产和虚拟世界的修改,也可以订阅他们的修改。更改会在连接的应用程序之间实时传输。数字资产可以包括几何图形、灯光、材料、纹理和其他描述虚拟世界及其随时间演变的数据。

       这样,各种支持 Omniverse 的客户端应用程序(应用程序、连接程序和其他程序)就可以共享和修改虚拟世界的权威表述。

注释

如需更深入地了解 Nucleus 数据模型、架构和分发平台,请参阅 "Nucleus 概述"。

 

1.5 USD

Omniverse Isaac Sim 使用 USD 交换文件格式来表示场景。通用场景描述(USD)是一种易于扩展的开源三维场景描述和文件格式,由皮克斯公司开发,用于内容创建和不同工具之间的交换。由于其强大的功能和通用性,USD 被广泛采用,不仅在视觉特效界,而且在建筑、设计、机器人、制造和其他学科也得到了广泛应用。

  • 如需更深入地了解 Omniverse 中的 USD,请参阅 NVIDIA USD 入门 什么是 USD?
  • 更多详情,请参阅 USD API 文档。
  • 更多详情,请参阅《USD术语与概念词汇表》。
  • 请参见英伟达™(NVIDIA®)USD 教程,逐步了解 USD。

二、文档概述

文档分为以下几个部分: 简介、安装指南、API 文档、教程、手册和参考资料。

2.1 简介

简介部分是对 Omniverse Isaac Sim 的基本概述,以及它如何融入 NVIDIA Omniverse™ 生态系统。它还概述了 Omniverse Isaac Sim 的架构、工作流程和文档布局。

2.2 安装指南

工作站安装是向所有用户推荐的安装流程。

Omniverse Isaac Sim还支持更高级的无头和远程安装选项。本页指南涵盖 Docker、云和流相关设置。

2.3 API 文档

有关 Omniverse 和 Isaac Sim 扩展的 Python API 文档,请点击此处。

2.4 教程

教程部分包含以下类别中使用Isaac Sim功能的分步指南。我们强烈建议您先完成入门教程、图形用户界面教程和核心API教程,以便了解使用Omniverse Isaac Sim的所有方法,然后再继续学习重点更突出的教程。

入门: 在 Omniverse Kit 中工作的基础知识以及 Omniverse Isaac Sim 中的不同工作流程。

图形用户界面: 通过图形用户界面了解 Omniverse Isaac Sim 中机器人技术的基本概念。

开发工具: 用于调试和开发的工具和环境。

核心应用程序接口: 使用 Omniverse Isaac Sim 核心 Python API 构建环境、机器人和任务。

场景设置: 从外部导入并修改机器人和机械手。

动作生成 Lula 运动生成库。

ROS/ROS2:各种 ROS 和 ROS2 桥接和接口示例。

映射 占用图生成

Isaac Gym 教程: 强化学习框架和 Cloner API。

Replicator 教程: 合成数据生成

Isaac Cortex 教程: 高级行为编程。

2.5 功能

功能部分重点介绍用于设置环境、机器人和传感器的 Omniverse Isaac Sim 扩展和工具,以及物理工具包、桥接器、导出器和调试器。

2.6 概念

概念部分包含词汇表和 Omniverse Isaac Sim 机制(如世界表示法和环境)的解释。

2.7 操作指南

How-To-Guides 包含简短的代码片段和特定 Omniverse Isaac Sim 操作提示。

2.8 参考资料

参考资料部件提供参考资料、部件链接和资源,为开发人员提供帮助。

该部分还提供了一系列有用的示例,供用户快速尝试 Omniverse Isaac Sim 的中高级应用。每个示例都包含注释清晰的源代码,用户可根据自己的使用情况抓取并修改。

请参阅 Isaac 示例菜单中的完整示例列表。

2.9 Isaac Sim USD 资产

Isaac Sim USD 资产部分提供了支持的环境、机器人、道具、传感器和特色资产的完整列表,以帮助开发人员。

三、Isaac Sim 系统要求

3.1 系统要求

Element

Minimum Spec

Good

Ideal

OS

Ubuntu 20.04/22.04

Windows 10/11

Ubuntu 20.04/22.04

Windows 10/11

Ubuntu 20.04/22.04

Windows 10/11

CPU

Intel Core i7 (7th Generation)

AMD Ryzen 5

Intel Core i7 (9th Generation)

AMD Ryzen 7

Intel Core i9, X-series or higher

AMD Ryzen 9, Threadripper or higher

Cores

4

8

16

RAM

32GB*

64GB*

64GB*

Storage

50GB SSD

500GB SSD

1TB NVMe SSD

GPU

GeForce RTX 2070

GeForce RTX 3080

RTX A6000

VRAM

8GB*

10GB*

48GB*

注意事项

  • Isaac Sim 容器仅支持 Linux。
  • * 建议使用更多内存和 VRAM 来高级使用 Isaac Sim。
  • Ubuntu 18.04 仅支持 Isaac Sim 2022.2.0。
  • 在线访问 Isaac Sim 资产和运行某些扩展程序需要互联网连接。

3.2 Isaac Sim 驱动程序要求

当前推荐的 Isaac Sim 驱动程序版本为 Windows 528.24 和 Linux 525.85。

Driver Version Support

Windows

Linux

Recommended

528.24, 528.33 (Grid/vGPU)

525.85.05, 525.85.12 (Grid/vGPU)

Minimum

473.47

510.73.05

Unsupported

495.0 up to 512.59, 525 up to 526.91

515.0 up to 515.17

备注

有关更新,请参阅技术要求。

请参阅 "Linux 故障排除 "以解决 Linux 上的驱动程序安装问题。

如果您使用的是新的 GPU 或遇到当前驱动程序的问题,我们建议在 Linux 上使用 .run 安装程序从英伟达™(NVIDIA®)GPU 驱动程序存档中安装最新的 525.x.x 驱动程序。

NVIDIA Isaac Sim 入门教程(一)(下)+https://developer.aliyun.com/article/1585250

相关实践学习
部署Stable Diffusion玩转AI绘画(GPU云服务器)
本实验通过在ECS上从零开始部署Stable Diffusion来进行AI绘画创作,开启AIGC盲盒。
目录
相关文章
|
2月前
|
传感器 机器人 Linux
NVIDIA Isaac Sim 入门教程(二)
NVIDIA Isaac Sim 入门教程(二)
85 1
|
2月前
|
XML 传感器 机器人
Isaac Sim详细安装使用教程
NVIDIA Isaac Sim 4.0版本的安装和使用教程,包括了下载、安装、配置环境、使用ROS/ROS2扩展、设置工作空间以及编译和运行示例程序的步骤。同时,还提供了Isaac Sim的架构图和USD文件格式的介绍,以及相关的资源链接和教程视频。
124 0
Isaac Sim详细安装使用教程
|
2月前
|
传感器 机器学习/深度学习 算法
Isaac Sim教程01 Isaac Sim介绍
这篇文章是Isaac Sim的入门教程,介绍了NVIDIA Omniverse平台上的Isaac Sim机器人仿真工具包。内容包括Isaac Sim的背景、特点、应用场景、架构和工作流程,以及近期的更新情况。Isaac Sim支持物理精确的仿真和合成数据集的创建,与ROS/ROS2兼容,并能模拟多种传感器数据,适用于机器人导航、操作应用、计算机视觉研究和数据集生成等多种场景。
137 0
Isaac Sim教程01 Isaac Sim介绍
|
2月前
|
传感器 机器学习/深度学习 固态存储
NVIDIA Isaac ROS - 入门教程(二)
NVIDIA Isaac ROS - 入门教程
130 3
|
2月前
|
Ubuntu 固态存储 Docker
NVIDIA Isaac ROS - 入门教程(一)
NVIDIA Isaac ROS - 入门教程(一)
133 2
|
2月前
|
传感器 机器学习/深度学习 算法
Nvidia Isaac Sim介绍 入门教程 2024(1)
Nvidia Isaac Sim是一个为NVIDIA Omniverse平台开发的机器人仿真工具包,提供高保真度的物理仿真和多传感器RTX渲染,支持ROS2并能够生成合成数据集,用于机器人的设计、调试、训练和部署。
85 0
|
2月前
|
存储 传感器 缓存
Nvidia Isaac Sim安装与配置 入门教程 2024(2)
本文是Nvidia Isaac Sim安装与配置的入门教程,指导用户如何检查系统配置、安装Omniverse环境、配置Nucleus服务器、安装Isaac Sim软件包、设置命令行环境和编辑器环境,以及如何启动Isaac Sim仿真和加载机器人与环境。
226 0
|
2月前
|
传感器 数据可视化 机器人
Nvidia Isaac Sim图编程OmniGraph 入门教程 2024(6)
本文是Nvidia Isaac Sim图编程OmniGraph的入门教程,介绍了OmniGraph的概念、图的分类、以及如何利用ActionGraph创建可视化编程流程来控制仿真中的机器人动作和物体跟随,包括键盘控制小车的流程分析、Graph的创建、节点添加与连接,以及测试和Python实现方法。
54 0
|
2月前
|
算法 机器人 API
Nvidia Isaac Sim代码编程 入门教程 2024(7)
Nvidia Isaac Sim 2024年的代码编程入门教程,涵盖了Isaac Sim环境的配置、核心API的使用以及如何利用Python API搭建基本仿真demo。
77 0
|
2月前
|
存储 机器人 API
Nvidia Isaac Sim图形界面 入门教程 2024(3)
本文是Nvidia Isaac Sim图形界面的入门教程,介绍了Isaac Sim GUI的界面组件、基本操作、物体和视角调整方法,并通过实例演示了如何创建和变换物体、构造铰接式物体以及调整环境和视角。
70 0