从 0 到 1 搭建机器人 | 利用 NVIDIA Isaac Sim 创建虚拟环境进行仿真开发与测试

问

除了做汉堡或端咖啡外，机器人还可以在仓库中搬运货物、包装食品和帮忙装配车辆。它们是如何在很短的时间内达到熟练水平的呢？

答

这就要归功于机器人仿真了。

在上一篇文章中我们学习了进行机器人开发的第一步——生成合成数据然后进行训练。从 0 到 1 搭建机器人系列文章第二篇将带领大家继续学习如何创建虚拟环境，进行机器人的仿真开发与测试。本次要使用的工具是 NVIDIA Isaac Sim, 一款可扩展的机器人仿真应用程序和合成数据生成工具。

什么是机器人仿真

仿真的具体过程是：首先使用仿真器将虚拟机器人置于虚拟环境中，这样就可以在不需要实体机器人的情况下测试机器人的软件。最新的机器人仿真器可以生成数据集，用于训练将在实体机器人上运行的机器学习模型。

然后，在这个虚拟环境中，开发人员可以创建机器人、环境以及可能需要的其他实体的数字版本。虚拟环境也会遵守物理定律，并interwetten与威廉的赔率体系 现实世界的重力、摩擦、材料和照明条件。

仿真一般被用于验证、确认和优化机器人的设计和系统及其算法。仿真能够在建造或改造开始前对设施进行优化，以达到最高效率，同时有助于减少昂贵的制造变更。

为了让机器人能够在人群中安全地工作，完美的运动规划是必不可少的。若要搬运脆弱的物体，机器人需要能够执行精准的接触和抓取。这些机器以及自主移动机器人和自动驾驶汽车系统，都是在大量数据的基础上训练出安全的运动方式。

仿真正在利用合成数据实现以前不可能实现的虚拟进展。今天在仿真中诞生和成长的机器人，将被用于解决现实世界中的各种问题。

机器人仿真的工作原理

先进的机器人仿真器从应用基本的物理学方程开始，比如使用牛顿运动定律，确定物体如何在一个小的时间增量或一个时间段内移动。还可以加入对机器人的物理限制，比如加入一个铰链式关节或者使其不能通过其他物体。

仿真器使用各种方法来检测物体之间可能发生的碰撞、识别碰撞物体之间的接触点，并计算力或脉冲，以防止物体之间相互碰撞。仿真器还可以计算用户需要的传感器信号，比如机器人关节处的扭矩或机器人抓手与物体之间的力。

使用机器人仿真的过程中，用户通常会导入机器人的计算机辅助设计模型，并导入或生成感兴趣的目标对象来构建一个虚拟场景。开发人员可以使用一套算法执行任务规划和运动规划，然后规定控制信号来执行这些计划。这使机器人能够以特定的方式执行任务并移动，比如拿起一个物体并将其放到目标位置。

开发人员可以观察计划输出的结果控制信号，然后根据需要修改它们以确保成功。最近，人们开始使用基于机器学习的方法。用户不必直接规定控制信号，而是只需要规定一个期望的行为，比如在不发生碰撞的情况下移动到一个位置。这时，一个由数据驱动的算法会根据机器人的仿真传感器信号生成控制信号。

此类算法包括模仿学习和强化学习，前者以人类示范作为参考，后者让机器人通过智能试错学会行为，依靠经过加速的虚拟体验迅速完成多年的学习。

然后，仿真器将按照用户要求的时间间隔重复这一过程。一些仿真器，比如建立在 NVIDIA Omniverse 上的应用 NVIDIA Isaac Sim 等还可以按照间隔时间，提供其输出结果的精确物理学可视化图表。

使用 NVIDIA Isaac Sim 进行仿真

NVIDIA Omniverse Cloud 平台上的Isaac Sim 是一个机器人仿真应用和 SDG 工具，驱动逼真的、物理准确的虚拟环境。在 NVIDIA Omniverse 的赋能下，Isaac Sim 使分布在全球的团队能够开展远程协作，一起构建、训练、仿真、验证和部署机器人。

前文提到，仿真利用合成数据以推动虚拟化世界的进程，而合成数据离不开另一助力：NVIDIA Omniverse Replicator，一款可扩展的高级 SDK，使开发者能够生成物理精准的 3D 合成数据，并轻松构建自定义合成数据生成 (SDG) 工具，以提高感知网络的训练速度和准确性。真实世界中的数据是昂贵、需要人工标记的，容易出错且不完整，而 Omniverse Replicator 扩展了这些数据，这一引擎能够创建大量、多样化的精确物理数据，以满足机器人开发者的需求。

此外，Isaac Sim 具备人员模拟功能，可将人类角色添加到仓库或生产设施中，并让他们执行堆放包裹、推送小车等常见的任务。目前支持许多常见的行为，模拟这些行为就像发布命令一样简单。

为了最大程度地减少在模拟世界中观察到的结果与在真实世界中看到的结果之间的差距，必须要有符合物理学的传感器模型。凭借NVIDIA RTX威廉希尔官方网站 ，Isaac Sim 可以实时渲染来自传感器的符合物理学的数据。在使用 RTX 模拟激光雷达时，光线追踪可以在各种照明条件下，或者在对反射材料做出反应时提供更加准确的传感器数据。

Isaac Sim 还提供了许多新的可模拟 3D 资产，这对于建立符合物理学的模拟环境至关重要。从仓库零件到机器人都是现成的，开发者可以快速开始构建。

我们一起了解了如何在虚拟环境中进行机器人的仿真开发与测试，下一次我们将更进一步，还请继续关注系列内容！

• 了解NVIDIA Isaac Sim（https://developer.nvidia.com/isaac-sim）

• 参与 DLI Isaac Sim 机器人仿真介绍课程（https://courses.nvidia.com/courses/course-v1:DLI+S-OV-03+V1/ ）

推荐阅读

从 0 到 1 搭建机器人 | 使用 NVIDIA Isaac Sim Replicator 和 TAO 套件进行数据合成和训练

点击“阅读原文”，或扫描下方海报二维码，在 8 月 8日聆听NVIDIA 创始人兼 CEO 黄仁勋在 SIGGRAPH 现场发表的 NVIDIA 主题演讲，了解 NVIDIA 的新威廉希尔官方网站 ，包括屡获殊荣的研究，OpenUSD 开发，以及最新的 AI 内容创作解决方案。