如果科技可以让你拥有“来生”,会是什么样的?如何实现?
2033年,全民AI时代来临,六大科技公司联合运营了一个虚拟现实酒店,可以让将死之人把意识和记忆“上传”其中,这样就可以进入数字虚拟世界,甚至能通过VR技术与真实人类社会的人接触……
这个“虚拟现实酒店”拥有人工设计的完美自然风光、豪华套房、可以自由设置的季节、专属的“天使”客服等等,虚拟和现实在这里得到了极好的呼应和融合。
以上是亚马逊出品的科幻剧《Upload/上载新生》的基本剧情,通过将人类的意识进行数字虚拟化,上传云端,那些罹患癌症、遭遇意外事故、即将死去的人便可以在虚拟世界里继续活着。不过,这一切的前提是要给虚拟世界的运营商支付高额的费用……
2033年是否会产生这样的应用场景值得商榷,这部剧集对现实世界的反讽也姑且不评论,但不得不承认,我们确实生活在一个虚拟和现实、数字化和物理世界急速融合的时代。利用科技手段进行链接与创造的“元宇宙”,已经在努力实现与现实世界映射与交互的虚拟世界,一个具备新型社会体系的数字生活空间正在进行跨越式的提升。
元宇宙需要什么样的技术底座?
未来的元宇宙,将是映射现实世界的在线虚拟世界,是独立于现实世界的虚拟空间,也将是越来越真实的数字虚拟世界。它将具备完整的价值取向和秩序,打破时间、空间的限制,在这个实时在线的数字世界里进行游戏、社交、创作等一系列的协作活动。
随着虚实共生时代的到来,全球各行业各领域对数字内容创作的需求正在攀升。业界既需要一款兼顾现有使用习惯的技术平台,同时也要兼顾未来技术应用的拓展需求。
NVIDIA英伟达在2019年推出了NVIDIA Omniverse,根据黄仁勋当时的介绍,这就是一款能够成为现实世界连接数字虚拟世界的入口以及基础设施,成为打造元宇宙的底层技术平台。它所面向的应用涉及方方面面,无论是汽车还是工业机器人,还是科学计算、验证、仿真、科研,或者是楼宇建筑、游戏创建、产品设计,以及娱乐、电影内容制作等等……如此庞大的体系构建,势必需要能够面向行业用户、企业用户甚至是个人爱好者提供便捷支持的能力。从当时的官方资料来看,NVIDIA Omniverse的突出表现在于三大能力:能够实现实时协作、实时追踪、实时渲染的真实感。
自NVIDIA Omniverse推出以来,NVIDIA英伟达不断为它注入新动能。通过功能的不断迭代,进一步强化平台功能、提升平台的扩展性,触及更多细分行业的用户需求。
在日前召开的SIGGRAPH 2022大会上,NVIDIA英伟达宣布了Omniverse的几大重要进展:发布重要版本更新、发展通用场景描述(USD)的大型计划、以及用于构建虚拟助手和数字人的云原生AI模型Omniverse Avatar Cloud Engine(ACE)。
可以说,这几方面更新和进展环环相扣,既抓住了行业痛点,又结合了自身底层软硬件技术优势和生态优势,最终呈现出来的这些突破,很大程度上也反映了数字内容创作者当前对工具平台的主要需求方向。
“NVIDIA Omniverse越来越像个工具箱”
NVIDIA英伟达Omniverse和仿真模拟技术副总裁Rev Lebaredian表示:“元宇宙蕴含的商机价值数万亿美元,任何企业机构都不愿错过它,但许多企业机构找不到加入它的明确途径。Omniverse缩小了物理世界和虚拟世界之间的差距,这些新的工具、技术和合作项目让我们在今天就可以迈入3D互联网。”
Rev Lebaredian所指的3D互联网应该是采用了3D显示与交互的网络社交技术,在此基础上,人们加入数字孪生、数字化身、虚拟资产等内容,进一步拓展出元宇宙概念,使元宇宙成为一个包罗众多数字技术的集成概念。
要实现如此宏大的愿景,就需要一个集大成的平台工具。NVIDIA Omniverse就是这样一个技术底座,可以把NVIDIA英伟达对它的定位理解为一个工具箱——如果想用传统的专业图形可视化技术,那么就去工具箱里拿对应的工具,要是想用AI就去找对应的AI工具……从而让任何人都能获得开箱即用的工具体验,为他们降低应用门槛。
从用户需求出发,NVIDIA英伟达对于NVIDIA Omniverse的“工具箱”特性尽可能保留了开放性和兼容性,用Rev Lebaredian的话来说就是——工具箱中所包含的都是组件技术,它们的功能可以进行配置和组合。哪怕用户想对其中一种技术进行替换,也可以用其已有的技术,和剩余的其他堆栈进行组合。
从NVIDIA Omniverse在SIGGRAPH 2022上发布的重大更新来看,主要还是围绕“实时协作、实时追踪、实时渲染的真实感”等功能特性进行了工具包拓展和组件升级,具体包括:
首先,用于构建本地NVIDIA Omniverse扩展和应用程序的工具包Omniverse Kit,主要包括两方面进展:一是PhysX的更新,包括实时、多GPU、可扩展的柔体和颗粒布料仿真,能够帮助提高虚拟世界和物体的物理准确性;二是全新OmniLive Workflows:对NVIDIA Omniverse中基于USD的协作进行全面改造,为多个应用程序的3D工作流程带来更高的速度和性能并实现非破坏性的USD工作流程,使艺术家和开发者之间的协作比以往更容易。
其次,直接通过音频文件创建面部动画的AI工具Omniverse Audio2Face,其推理和生成逼真情绪的新功能为AI动画带来了巨大的飞跃,可用于制作所有面部特征动画。
第三,还有用于构建3D电影和动画电影的应用Omniverse Machinima,发布了数百个来自《战争附言(Post Scriptum)》等游戏的全新免费3D资产,以及Audio2Gesture(可以利用音频文件生成逼真手臂和身体运动的AI)等一套全新AI动画工具。
值得一提的是,Omniverse DeepSearch已面向Omniverse Enterprise客户开放。DeepSearch使用自然语言帮助团队利用AI直观、准确地在庞大的、未标记的3D视觉资产数据库中进行搜索。对于因拥有数十万未标记资产而使搜索成为一大难题的游戏开发商或视觉特效工作室而言,DeepSearch将带来巨大的改变。
另外,物理机器学习框架NVIDIA Modulus现已可用于为Omniverse扩展程序。经Modulus训练的物理机器学习模型可提供近实时的性能,根据不同的应用,其速度可提高4000甚至100000倍,并且具有更接近高保真模拟的准确性。Modulus是NVIDIA Earth-2等科学数字孪生的基石之一。
除了上述全新应用和框架,NVIDIA英伟达还发布了多项核心仿真模拟技术的重大更新,这些技术在元宇宙世界中用于表示材质、物理和光线。其中,NVIDIA MDL支持物理级精确的3D材质表现,现已完全开源,使开发者能够为任何渲染器带来材质定义语言支持;即将发布公测版的NeuralVDB是OpenVDB的下一个升级版本,它为稀疏体积数据集带来了AI和GPU优化,并将这些海量数据集的内存占用率降低了多达100倍。
持续打造通用“语言”生态
在使用NVIDIA Omniverse打造元宇宙时,最关键的是通用场景描述(USD)技术。NVIDIA英伟达最新宣布的一项发展USD的大型计划值得关注,这意味着开源USD作为NVIDIA Omniverse协作和模拟平台的基础,将进一步扩大用户生态,持续成长为开放元宇宙和3D互联网的主流平台。
关于USD,可以将它理解为元宇宙的HTML,起源于皮克斯动画工作室。USD作为一个开源框架,是皮克斯制作流程的基石,目前在视觉特效和动画方面,以及工业、设计和科学应用方面都呈现出快速增长的势头,几乎已是业界公认的未来流程协作的数据格式了。
Rev Lebaredian提到,皮克斯早在2012年就开始开发USD,并在2015年向整个社区开放。也大约是在2015、2016年左右,NVIDIA英伟达在决定未来方向时,意识到没有比USD更合适的语言了。而事实证明这个选择是对的,他强调,在今年的SIGGRAPH上,几乎到处都会听到USD,几乎每个工具都在集成它,每个公司都有一个USD策略……现在它正在离3D互联网梦想更近的地方了。
NVIDIA英伟达推行开源USD作为NVIDIA Omniverse协作和模拟平台的基础,能够让大型团队在一个共享的3D场景中同时使用多种软件应用工作,这对NVIDIA Omniverse在行业中的应用至关重要。这一开源标准基础,能够为软件合作伙伴提供多种扩展和连接NVIDIA Omniverse的方式,无论是通过USD采用和支持,还是创建插件,或是通过Omniverse 连接器(Connector)。
目前,NVIDIA英伟达正在与皮克斯以及Adobe、Autodesk、西门子等多家行业内领先的企业合作,实施一项多年发展路线图,将USD的功能扩展到视觉效果应用之外,使其能够更好地支持建筑、工程、制造、科学计算、机器人、工业数字孪生等领域的工业元宇宙应用。
NVIDIA英伟达还与工业、设计、模拟和CAD软件生态系统中的合作伙伴一同发布了11个新的Omniverse连接器,这些基于USD的插件进一步向工业界和科学界的公司开放Omniverse工作流程。目前,Omniverse USD生态系统中的连接器总数已达到112个。
随着越来越多合作伙伴扩展基于通用场景描述USD的应用,它将有望形成元宇宙的一项行业标准,也将进一步发展成为开放元宇宙和3D互联网的重要基础。
降低创建和部署逼真虚拟助手和数字人的门槛
在元宇宙的蓝图中,数字人和虚拟助手的需求在飞速增长的,但创建和扩展它们却变得越来越复杂。为此,NVIDIA英伟达推出了全新的用于构建和部署逼真虚拟助手和数字人的云原生AI模型和服务Omniverse Avatar Cloud Engine(ACE),它将帮助游戏、聊天机器人、数字孪生和虚拟世界的开发者提供用于构建和部署交互式虚拟形象的云原生AI模型,值得一提的是,它已经能够助力虚拟助手和数字人通过图灵测试。
对于NVIDIA ACE推出的重要意义,Rev Lebaredian表示:“几十年来,我们所在的行业一直在教计算机如何轻松地交流和执行对人类来说十分轻松的复杂任务。NVIDIA ACE让这一切变得触手可及。ACE结合了许多复杂的AI技术,使开发者创造出将能够通过图灵测试的数字助手。”
据介绍,ACE建立在NVIDIA英伟达的统一计算框架基础之上。该框架为用户提供丰富的软件工具和API,使他们能够使用各种用于创建高度逼真的全互动式虚拟形象的技能。这些工具包括用于开发语音AI应用的NVIDIA Riva、用于计算机视觉和智能视频分析的NVIDIA Metropolis、用于高性能推荐系统的NVIDIA Merlin、用于自然语言理解的大型语言模型NVIDIA NeMo Megatron,以及用于AI赋能动画的NVIDIA Omniverse。ACE所支持的助手和虚拟形象,有望改变游戏、娱乐、银行、交通和酒店等领域的互动方式。
写在最后
穷尽一切想象,元宇宙仍充满了未知。
当前,业界一些研究机构认为2030年之后,元宇宙将进入第三发展阶段,逐渐实现各个子宇宙的聚合,并形成真正意义上的元宇宙。元宇宙的形态将会随着科技水平的提升而随之扩张,同时各个行业将涌入元宇宙体系,打通虚拟和现实的边界,元宇宙由此进入千行百业的数字化的虚实共生的时代。
元宇宙的崛起也势必离不开庞大技术生态的支持。NVIDIA Omniverse从发布之日起,一直在不断迭代、整合更多的第三方工具、兼容更多的素材库、运行更多的数据、扩展更大的应用生态……可预见的未来,它会变得越来越强健,能够提供效果逼真的数字环境,在NVIDIA Omniverse场景中能够生成合成数据,也可以基于NVIDIA Omniverse模拟创建AI模型,最终探索更多的应对方法。而不论是平台工具的重大更新,还是生态的持续打造,NVIDIA英伟达正致力于打造元宇宙开发和落地的闭环,夯实在元宇宙的布局和地位。