3D 内容创作者纷纷开始使用逆向渲染工具NVIDIA Instant NeRF ,它能够将静态图像变成逼真的 3D 场景。
自今年早些时候首次发布以来,全球已有数万名开发者下载了 Instant NeRF 的源代码,使用它渲染出美轮美奂的场景,并在社交媒体上分享精彩的作品。
Instant NeRF 的学术研究于 8 月 8 日至 11 日在温哥华和线上举行的 SIGGRAPH 上凭借其对计算机图形研究的未来发展所做出的贡献而被评为最佳论文,据悉今年仅有五篇论文入选该奖项,这篇论文也是 NVIDIA 著作者在本次大会上发表的 17 篇论文和研讨会论文之一,这些论文涵盖了神经渲染、3D 模拟、全息技术等主题。
NVIDIA 最近举行了一次 Instant NeRF 抽奖活动,开发者在分享用该软件创建的 3D 场景后就有机会赢得高端 NVIDIA GPU。数百人参与了这项活动,发布的 3D 场景作品包括巨石阵等地标性建筑、自家后院,甚至宠物。
以下是几位使用 Instant NeRF 的创作者:
镜花水月: Karen X. Cheng 和 James Perlman
来自旧金山的创意总监 Karen X. Cheng 与软件工程师 James Perlman 合作渲染 3D 场景,以测试 Instant NeRF 的创作极限。
两人已经使用 Instant NeRF 创造了探索镜中反射(如上图所示)和处理多人复杂环境(比如一群人在餐厅里享用拉面)的场景。
Perlman 表示:“该算法本身就是开创性的。能够以比普通摄影测量技术更高的保真度渲染物理场景已经十分令人震惊,更不用说还能以如此高的精度再现照明、色差等其他细枝末节。”
Cheng 表示:“它甚至让错误看起来都很艺术。我们太喜欢这一点了,有时我们会减少场景的训练次数,尝试 1000 次、5000 次或 50000 次迭代。有时候我更喜欢那些训练次数少的场景,因为它们的边缘会更加柔和,就好像油画一般。”
如果使用之前的工具,需要三到四天才能训练出一个“质量不错的场景”。有了 Instant NeRF,他们每天可以完成大约 20 个场景,他们使用 NVIDIA RTX A6000 GPU 来渲染、训练和预览其 3D 场景。
快速渲染带来更快的迭代速度。
Cheng 表示:“快速渲染对整个创作过程非常重要。我们会一起拍摄 15 或 20 个不同的版本,整夜运行,然后查看哪些版本可行。只有当在一天内能够运行多个场景时,我们发表的所有作品才能被反复拍摄。”
留下瞬间:Hugues Bruyère
蒙特利尔创意工作室 Dpt. 的合伙人兼创新主管 Hugues Bruyère 每天都在使用 Instant NeRF。
他表示:“3D 捕捉对我来说越来越有吸引力,我可以用它来重构和移动立体图形,赋予它们更加丰富的意义。”
Bruyère 使用其之前为传统摄影测量所采集的数据在 Instant NeRF 中渲染 3D 场景,传统摄影测量主要依赖于无反数码相机、智能手机、360 摄像机和无人机拍摄的照片。他还使用 NVIDIA GeForce RTX 3090 GPU 渲染 Instant NeRF 场景。
Bruyère 认为 Instant NeRF 可以用来保护和分享在线图书馆、博物馆、虚拟现实体验和文物保护项目中的文化艺术品。
他表示:“随着相机和软件解决方案变得越来越便宜,拍摄本身也走向大众化。在几个月或几年内,人们将能够捕捉物体、地点、时刻和记忆,并以可分享和永久保存的形式对它们进行实时立体渲染。”
借助智能手机拍摄的照片,Bruyère 为多伦多皇家安大略博物馆展览中的古代大理石宙斯雕像创建了 Instant NeRF 渲染。
步入遥远的场景:Jonathan Stephens
空间计算公司 EveryPoint 首席布道官 Jonathan Stephens 一直在探索 Instant NeRF 的创作和实际应用。
EveryPoint 重建了堆场、铁路站场、采石场等 3D 场景来帮助企业管理资源。通过 Instant NeRF,Stephens 可以更加完整地捕捉场景并让客户自由探索场景。他还借助 NVIDIA RTX 3080 GPU 运行使用 Instant NeRF 渲染过的场景。
Stephens 表示: “我最喜欢 Instant NeRF 的一点是它让我能够迅速知道渲染是否有效。以前,大型摄影测量集可能要等上几个小时或几天才能知道结果。现在我可以测试出一堆不同的数据集并在几分钟内得到答案。”
他还尝试使用智能眼镜等轻型设备拍摄的画面制作 NeRF。Instant NeRF 可以将 Stephens 走在街上拍摄的低分辨率、抖动的画面转换成流畅的 3D 场景。
在SIGGRAPH上关注NVIDIA
请在太平洋时间 8 月 10 日周三零点收看 NVIDIA 首席执行官黄仁勋和其他高级领导者的特别演讲,了解 AI 驱动的虚拟世界背后的研究和技术。
NVIDIA 还将举办多场面向 SIGGRAPH 参与者的线下和线上分会,包括:
- 用于构建虚拟世界的通用场景描述(USD):下一步发展
- 光线追综VR中的实时协作
- 对话研究者:如何在您的3D深度学习工作流程中使用NVIDIA Kaolin
- 扩展现实的未来:沉浸式体验如何改变一切
在“NVIDIA Instant NeRF——神经辐射场入门 ”实践演示中了解如何使用 Instant NeRF 进行创作。 Instant NeRF 还将出现在 SIGGRAPH 的“实时现场” 展示活动中,现场参加者可以投票评选出获胜的项目。
在其他互动分会中,NVIDIA 深度学习培训中心将为现场参与者免费提供 NVIDIA Omniverse 和其他 3D 图形技术的实践培训。
在北京时间 8 月 11 日凌晨 1 点首映的纪录片《合作的艺术:NVIDIA、Omniverse和GTC》中一窥NVIDIA GTC 的幕后故事,了解 NVIDIA 的创意、工程和研究团队如何实现最新 GTC 主题演讲中的视觉效果。
进一步了解 NVIDIA 在 SIGGRAPH 上的动态并在本展会指南中查阅完整的活动和分会安排。