全新 NVIDIA 神经图形 SDK 使每个人都能创建元宇宙内容

新发布的  NeuralVDB和  Kaolin Wisp 等十几款工具和程序使数百万设计师和创作者能够轻松、快速地创建 3D 内容。

一直以来，创建游戏、虚拟世界（包括元宇宙）、产品设计或视觉效果场景中的 3D 物体都是一项高度精细的工作，即便是技艺精湛的艺术家也必须在细节逼真度与期限和预算压力之间取得平衡。

要制作出在物理世界中看起来无异的物品需要耗费很长的时间，更复杂的是有时需要让多个物体和角色在虚拟世界中互动。模拟物理已变得和模拟光线一样重要，例如虚拟工厂中的机器人不仅要有与真实机器人完全相同的外观，还要有完全相同的承重和制动能力。

完全做到这一点很难，但这也蕴含着巨大的机遇。除了产品设计外，它还影响到交通运输、医疗、电信、娱乐等多个万亿美元的行业。最终，在虚拟世界中创建的内容数量将超过在物理世界中创建的内容。

为了简化和缩短这一流程，NVIDIA 于今日发布新的研究和多款工具，这些工具将神经图形的应用于创建、动画 3D 物体和世界。

这些 SDK 包括为行业标准 OpenVDB 带来突破性更新的 NeuralVDB，以及建立神经场研究框架的 Pytorch 库——Kaolin Wisp 。它们不但简化了设计师的创作流程，还使数百万非专业设计人士也能轻松创建 3D 内容。

神经图形是将 AI 和图形学相结合的新领域，可以用来创建能够从数据中学习的加速图形流程。AI 的加入改进了结果、帮助实现设计选择的自动化并为艺术家和创作者提供目前无法想象的新机会。神经图形学将重新定义用户的虚拟世界创建、模拟和体验方式。

这些 SDK 和研究将推动内容创作流程的每个阶段，包括：

3D 内容创建

• Kaolin Wisp：对Kaolin（一个能够将新技术测试和实施时间从几周缩短到几天，让 3D深度学习研究变得更快的 PyTorch 库）的补充。Kaolin Wisp 是一个面向神经领域研究的库，它建立了一套加速神经领域新研究的通用工具和框架。

• 即时神经图形基元：一种捕捉现实世界物体形状的新方法，也是 NVIDIA Instant NeRF（一种可将静止图像集变成数字 3D 场景的可逆渲染模型）背后的灵感来源。这项技术和相关的GitHub代码将该流程的速度加快了高达 1000 倍。

• 3D MoMa：一种新的可逆渲染流程，使用户可以将 2D 物体快速导入图形引擎，并创建出可以用现实材料、照明和物理学进行修改的 3D 物体。

• GauGAN360：NVIDIA GauGAN 的进化版本。这个 AI 模型可以将粗糙的涂鸦变成逼真的绘画作品。GauGAN360 可生成能够移植到 Omniverse 场景的 8K 360 度全景图。

• Omniverse Avatar Cloud Engine（ACE）：这个全新的云API、微服务和工具集可创建、自定义和部署数字人应用。ACE建立在NVIDIA的统一计算框架基础之上，开发者可通过它将NVIDIA的核心AI技术无缝集成到其虚拟形象应用中。

物理学和动画

• NeuralVDB：一项对当前行业的体数据存储标准 OpenVDB 的突破性改进。NeuralVDB运用机器学习引入紧凑型神经表示法，大幅减少了内存占用，以支持更高分辨率的 3D 数据。

• Omniverse Audio2Face：一种可将音频源生成生动面部动画的 AI 技术。它非常适合用于交互式实时应用和作为传统的面部动画创作工具。

• ASE：动画技能嵌入：一种使物理模拟角色在不熟悉的场景中以更灵敏、逼真的方式行动的方法。它使用深度学习指导角色如何应对新的任务和行动。

• TAO 工具包：一个使用户能够创建准确、高性能姿势预估模型的框架。它能够以比当前方法更快的速度运用计算机视觉评估个人可以在场景中做什么。

体验

• 影像特征眼动追踪：一个将像素渲染质量与用户反应时间相联系的研究模型。它通过预测渲染质量、显示属性和浏览条件的最佳组合，实现最小的延迟，使快节奏的交互式计算机图形学应用（如竞技游戏）有更好的表现。

• VR全息眼镜：与斯坦福大学一同开发的全新 VR 眼镜设计，可在开创性的 2.5 毫米厚光学堆栈中提供全色 3D 全息图像。

与 NVIDIA 一起在 SIGGRAPH 上进一步了解图形学、AI 和虚拟世界的最新研究与技术突破。查看 NVIDIA Research 的最新创新成果并获得 NVIDIA 全套 SDK、工具和库。