1764
一年一度的计算机图形学顶级会议SIGGRAPH上，英伟达宣布了一系列重要进展：比如通用场景描述（OpenUSD）的扩大应用，能够提高开发者构建高精度虚拟世界的能力；简化AI模型部署的NIM，可为开发人员和企业提供易于集成和优化的解决方案；提出系统化扩展机器人数据的方法，有望打破人形机器人训练在数据量、时间、空间等方面的限制，从而加速人形机器人的发展。
此外，英伟达创始人兼CEO 黄仁勋，与Meta创始人兼 CEO马克·扎克伯格，以及《连线》杂志高级作家劳伦·古德的两场炉边谈话，主要探讨了加速计算和生成式AI如何转变行业，也引发了广泛关注。
通用场景描述（OpenUSD）技术和生态持续突破
英伟达的故事始于通用计算，并在图形行业取得了重要进展，如3D、光线追踪和可编程着色等。
在这次的SIGGRAPH上，英伟达研究团队展示了超过20篇研究论文，其中两篇获得了最佳论文技术奖，展示了AI如何通过提高图像质量和解锁新的3D方法使仿真变得更好；同时，仿真也使AI变得更好，通过更好的合成数据生成器和更多其他方式来训练下一代模型。
在通用场景描述（OpenUSD）方面，英伟达扩大了这一通用3D数据交换框架在机器人、工业设计和工程领域的应用，提高了开发者为AI新一轮发展构建高精度虚拟世界的能力。
新推出的内容包括适用于AI模型的NVIDIA NIM微服务，这些微服务可生成回答用户查询的OpenUSD语言、生成OpenUSD Python代码、将材质应用于3D物体、理解3D空间和物理学以帮助加快数字孪生的开发等。其他还包括可用于机器人和工业仿真数据格式的全新USD连接器，以及各种开发者工具，用户可通过它们将海量RTX全光线追踪数据集传输到Apple Vision Pro。
通过NIM微服务，英伟达将生成式AI应用于OpenUSD开发，为开发者提供了一系列智能工具。这些工具包括代码生成、搜索、验证等功能，旨在加速OpenUSD在制造业、汽车和机器人等领域的应用。预览版中已有USD Code、Search、Validate微服务，未来还将推出更多如Layout、SmartMaterial、Mesh Generation等，以进一步拓宽3D世界的应用边界，提升开发效率和创意实现能力。
NVIDIA Omniverse与仿真技术副总裁Rev Lebaredian表示：“重工业的生成式AI潮已经到来。直到最近，数字世界的主要用户还是创意行业；而现在，借助NVIDIA NIM微服务为OpenUSD带来的增强功能和可访问性，各个行业都可以创建基于物理学的虚拟世界和数字孪生，在加快创新的同时，为机器人这次新一轮AI技术热潮做好准备。”
随着USD连接器扩展了OpenUSD的互操作性和创作能力、覆盖更多行业的同时，OpenUSD生态系统也在不断壮大。
富士康作为全球制造业巨头，目前已经利用英伟达的计算平台、NIM微服务和Omniverse创建了数字孪生工厂，加速工业制造和自主机器发展。WPP作为营销服务公司，也在借助USD Search和USD Code NIM微服务，在Omniverse平台上加速生成式AI内容创作，为可口可乐等客户提供创新服务。双方均表示这些技术提升了工作效率，并巩固了他们在OpenUSD等标准上的投资。
同时，英伟达与西门子合作，将OpenUSD集成到其仿真技术Simcenter中，提升工业工作负载的效率。该集成可实现复杂仿真数据的高保真、实时、逼真可视化，让企业能够更加深入地了解产品在实际操作环境中的性能。据了解，西门子将把Omniverse纳入其Teamcenter 产品生命周期管理软件组合中，为这项工作打好基础。
英伟达还发布了一个从统一机器人描述格式（Unified Robotics Description Format）到OpenUSD的连接器，让机器人专家能够将他们的机器人数据无缝导入到用于设计、仿真和强化学习等用途的各种应用中。
为了进一步推动OpenUSD生态系统的扩张，英伟达还发布了OpenUSD Exchange软件开发套件，帮助开发者创建出自己的强大OpenUSD数据连接器。
皮克斯首席技术官兼 OpenUSD 联盟（AOUSD）主席 Steve May 表示：“OpenUSD 正在彻底改变我们创建3D内容并与之互动的方式。现在，借助英伟达为OpenUSD打造的这些新服务和API，我们有望看到USD以更快的速度增长和普及，这将为新用户和行业更轻松地参与我们的生态系统铺平道路。”
全新NIM微服务加速人形机器人发展
数据集是人工智能算法训练的关键要素，人形机器人的数据集不足一直是行业的痛点之一，因为训练人形机器人基础模型需要大量数据，而远程操作获取演示数据成本高且耗时长。
英伟达最新提出的系统化扩展机器人数据的方法，有望解决行业痛点，加速机器人算法迭代和智能化提升。在SIGGRAPH大会上，英伟达展示了利用AI和Omniverse从少量远程捕捉生成大量合成数据的参考工作流，结合Isaac Sim和MimicGen NIM微服务生成合成数据集，降低训练成本和时间。同时，Robocasa NIM和OSMO服务进一步优化训练流程，减少管理负担。
其中，NIM微服务可缩短部署时间至几分钟，通过MimicGen和Robocasa生成合成运动数据和仿真环境；OSMO作为云原生服务，简化训练和仿真流程，可将开发周期缩短至一周内，支持可视化管理和多种机器人开发任务。
通过这一系列相关技术，有望打破人形机器人训练在数据量，时间、空间的限制。并且，英伟达构建的业内生态，助力初创机器人企业缩短开发周期，为行业注入活力。
据介绍，英伟达扩大人形机器人开发者技术的访问渠道主要包括三个计算平台，分别是：用于训练模型的 NVIDIA AI 超级计算机；基于 Omniverse 构建的 NVIDIA Isaac Sim，使机器人可以在仿真世界中学习和完善技能；以及用于运行模型的 NVIDIA Jetson Thor人形机器人计算机。开发者可以根据具体需求来访问和使用全部平台或其中的任何部分。
通过新开发者计划，开发者可提前获取新产品及最新软件版本，首批企业已加入，包括1x、波士顿动力公司、字节跳动ByteDance Research、Field AI、Figure、傅利叶、银河通用、逐际动力、Mentee、Neura Robotics、星动纪元和 Skild AI。开发者现可加入计划，访问OSMO、Isaac Lab，并将获得NIM微服务访问权。
黄仁勋强调，人形机器人是AI新浪潮的亮点，开放机器人技术栈，可助力开发者利用高效平台与资源。
助力企业打造更为强大的生成式AI
在与《连线》杂志高级作家劳伦·古德的炉边谈话中，黄仁勋表示，深度植根于视觉计算的生成式AI正在增强人类的创造力，而加速计算有望显著提高能源效率。他指出，加速计算可以节省20倍甚至50倍的能耗，而且能完成同样的处理工作。
在和马克·扎克伯格的对谈中，他们探讨了开源AI和AI助手的变革潜力。马克·扎克伯格表示，随着模型变得更大、更通用，合作是取得更多进步的关键，正如他近期在博客文章中写到的：Llama 3.1有望成为开源AI的“转折点”。
黄仁勋也认为，这是一件令人兴奋的事情。目前，英伟达拥有完整的生态系统，包括OEM合作伙伴等，他们可以运行NIM，也可以合作并创建基于Llama的GSI。英伟达正在帮助全球的企业进行这样的操作，助力他们将各自的AI能力和数据、经验等进行结合，加快生成式AI的落地部署。
他预言，未来，人与AI的互动将变得更加流畅，而不仅仅是基于文本交互，也不会像今天一样是一来一回的模式，它将来会考虑多个选项，生成一个选项树，并模拟结果，变得更加强大。
下载ECAD模型
