NVIDIA Research 在 SIGGRAPH Asia 中展示如何使用生成式 AI 进行交互式纹理绘制

在悉尼举行的 SIGGRAPH Asia Real-Time Live 活动中，NVIDIA 研究人员展示了集成在交互式纹理绘制工作流中的生成式 AI，以及其如何支持艺术家直接在 3D 物体表面绘制复杂且不重复的纹理。

该原型展示了 AI 如何像艺术家手中的画笔一样“挥洒自如”，而不是只能依靠高级用户的指导才能生成完整的结果。它通过在交互中添加局部细节，实现无限的纹理变化和逼真的过渡。

这只是 NVIDIA 研究项目中的一个示例，这些系列项目旨在通过开发具有实时 AI 推理和直接控制功能的全新迭代工作流，发挥 AI 的力量来支持创作。在 2023 年 8 月 SIGGRAPH 大会上的 Real-Time Live 活动中，该研究小组还曾展示用于材质的生成式 AI。

AI 纹理绘制让 AI 能够在交互循环中进一步发挥作用。比起生成和迭代正方形平铺物理渲染（PBR）材质，然后将其应用到 UV 映射的 3D 物体上的处理方式，该项目能够通过交互式绘制来直接控制纹理的位置、比例和方向。而且，3D 绘画笔触的每个补丁都是由 AI 实时生成的。

为施展创造力而定制的 AI

对于用于创作的设计工具，对结果进行直接迭代控制至关重要。将现代基础图像 AI 模型集成到绘画等交互式工作流的挑战之一，就是 AI 作出的创意不一定符合艺术家意图。在某些情况下，这会导致在编辑 prompt 时需要十分谨慎，且仍可能出现难以预测的结果。

图 1. 使用以岩石纹理为基础素材的 AI 画笔，

以不同大小的画笔添加蜿蜒曲折的路径

在这个界面中，研究人员没有选择使用基于文本的界面来显示或识别纹理。俗话说“一画胜千言”，该 AI 画笔是以目标纹理的示例图像进行工作的。

灵感图像是 3D 设计中的一个常见概念。这些图像通常只能作为参考，必须经过大量处理才能用于 3D 场景中。

此次 SIGGRAPH 上的 AI Material 演示展示了如何将不完美的灵感图像转换为可平铺的 PBR 材质，从而更加轻松地将现实世界中的灵感导入 3D 工作流。在这个新演示中，任何现实世界纹理的灵感图像都可以转化成 AI 笔刷，支持艺术家在 3D 绘画中使用。不仅是笔触的形状，画笔的大小和纹理方向都可以被控制。

该原型中的 AI 专门用于确保画笔包含参照物的各种变化，同时又不过分偏离其特征。这一主干基础 AI 模型还能在不需要任何过渡参照物的情况下，就能实现不同纹理区域之间的逼真过渡。例如 AI 可以在原始的草地纹理和岩石路径之间使用 AI 纹理画笔进行交互绘制，从而实现逼真的过渡。

图 2. 通过文本查询生成的粉色雏菊的画作

图 3. 通过文本查询生成的古老符文纹理的画作

如果没有灵感图像作为画笔的基础素材怎么办？

文本到图像 AI 可用于生成多个版本，再由使用者自行选择想要使用的画笔，并在该交互式循环中进行直接控制，探索艺术创作的更多可能性。

NVIDIA 威廉希尔官方网站 提供助力

该原型使用了多项 NVIDIA 威廉希尔官方网站 。由于速度是交互式界面以及 Real-Time Live 的要求之一，该原型通过 NVIDIA GPU 中的 Tensor Core 进行加速推理，使每个画笔印章达到 0.23 - 0.15 秒的推理速度。

该原型作为 NVIDIA Omniverse 扩展程序而进行开发。Omniverse 是一个由 API 和微服务组成的模块化开发平台，用于构建使用 OpenUSD 和 NVIDIA RTX 的应用与服务，使开发者能够创建出包含 AI 的复杂 3D 工具。

在该原型中，通过集成 NVIDIA Warp 库的高效光线投射与高效的动态纹理支持，AI 可以直接对渲染对象进行快速更新。

该方法的原理是借助用于 3D 深度学习的 NVIDIA Kaolin 库，从而实现直接在 GPU 上进行高效的离屏光栅化和纹理反向投影。

点击“阅读原文”或扫描海报二维码，锁定北京时间 1 月 9 日 (星期二) 凌晨 0 点举行的线上 NVIDIA CES 2024 特别演讲。