3001
在日前举行的CES展会上，人工智能继续引领风潮。英伟达作为AI变革时代的大赢家，当前重点聚焦生成式AI应用，在CES上展示了GPU、软件工具、应用服务等，在桌面游戏、机器人、自动驾驶领域的新进展。
其中，英伟达在机器人领域的布局值得关注。英伟达嵌入式和边缘计算副总裁 Deepu Talla 在演讲中提到，生成式 AI 正在重塑价值数万亿美元的产业，英伟达作为智能机器人领域的领跑者，正在大力抓住这一机遇。
英伟达嵌入式和边缘计算副总裁 Deepu Talla
生成式AI适于机器人技术
业界当前普遍看好生成式AI的应用前景。据Gartner预测，到2026年，全球80%的企业将在业务中使用生成式AI，与2023年不到5%相比急剧增加。
在机器人领域，英伟达认为AI驱动的自主机器人将越来越多地应用于提高效率、降低成本和解决劳动力短缺问题。根据Deepu Talla介绍，越来越多的合作伙伴正在使用由 GPU 加速的大语言模型，为机器人带来更高的智能程度和适应能力，这些合作伙伴包括波士顿动力、Collaborative Robotics、Covariant、Sanctuary AI、宇树科技等。
他指出，类似于人类大脑语言中心的大语言模型（LLM），不仅能使机器人更自然地理解和响应人类指令，也能够使机器人不断地向人类、彼此和周围的世界学习。“鉴于这些特性，生成式 AI 非常适合用于机器人技术”，Deepu Talla补充。
机器人如何使用生成式 AI？
Agility Robotics、NTT 和其他公司正在将生成式 AI 整合到他们的机器人中，以帮助理解文本或语音命令。追觅科技的机器人吸尘器，正在由生成式 AI 模型创建的模拟生活空间中接受训练。同时，Electric Sheep 也正在开发一种自动割草的模式。
这些AI机器人开发和部署的背后，正是NVIDIA Isaac 和 Jetson 平台等技术在提供助力。Deepu Talla在演讲中展示了将 AI 部署到机器人技术中所必需的双计算机模型（如下），也就是所谓的“双机”模式。
其中一台计算机被称为“AI 工厂”，是创建和不断改进 AI 模型的核心，使用了英伟达数据中心计算基础设施以及 NVIDIA AI 和 NVIDIA Omniverse 平台，可以仿真和训练 AI 模型。
另一台计算机代表机器人的运行环境。运行环境根据应用的不同而有所变化，比如可以是云或数据中心；对于半导体制造中的缺陷检测等任务则是本地服务器；配备多个传感器和摄像头的自主机器也可能成为运行环境。
Deepu Talla还重点介绍了 LLM 在打破技术壁垒方面的作用。例如，LLM 可以将普通用户变成技术艺术家，能够创建复杂机器人工作单元或整个仓库仿真。
借助 NVIDIA Picasso 等生成式 AI 工具，用户可以根据简单的文字提示来生成逼真的 3D 资产，并将其添加到数字场景中，以实现动态、全面的机器人训练环境。
这一功能还可扩展到在 Omniverse 中创建多样化且符合物理学的场景，从而加强机器人的测试和训练，保证机器人在现实世界中的适用性。
对于在边缘构建的人工智能应用程序，包括机器人在内，随着快速发展的人工智能环境解决越来越复杂的场景，开发人员其实面临着开发周期更长的严峻挑战。以前的机器人是为特定任务而专门制造的，而现在需要根据不同的任务来进行改动，往往需要重新编程，来满足不断变化的环境、生产线和客户的自动化需求。而LLM 和视觉语言模型领域的进步，有望消除这一瓶颈，使我们能够通过自然语言与机器人进行更直观的交互。
“这种适应性强、能感知周围环境的机器将很快遍布世界各地”，Deepu Talla解释说。
撬动广泛机器人生态的软硬件基础
生成式AI由于能够通过理解人类语言提示来进行模型更改，从而大大提高了易用性。这些AI模型在检测、分割、跟踪、搜索甚至重新编程方面更加灵活，并且有助于超越传统的基于卷积神经网络的模型。
根据ABI Research的数据，到2033年，生成式AI预计将为全球制造业业务增加105亿美元的收入。
为了充分发挥生成式AI的优势，加速在边缘的开发部署，英伟达基于Jetson平台对Metropolis和Isaac框架等进行了大规模的软件扩展；开发人员还可以使用NVIDIA TAO工具包为边缘应用程序创建AI模型，TAO提供了低代码接口来微调和优化AI视觉模型，并且支持定制和微调基础模型(如NVIDIA NV-DINOv2)或公共模型(如OpenCLIP)，以很少的数据创建高度精确的视觉人工智能模型；此外，基于广泛采用的开源机器人操作系统(ROS)， Isaac ROS为自动化带来了更好的感知能力，通过利用GPU加速GEM的强大功能，包括深度感知、3D场景重建、定位和规划等，开发人员获得了为各种应用快速设计机器人解决方案所需的工具和平台。
可以看出，英伟达在AI机器人领域正在开展全方位的软硬件布局。基于丰富的产品和服务，凭借广泛而多样化的用户基础和合作伙伴生态系统，英伟达正在推动一场边缘机器人和生成式AI深度融合的革命。而从根本上简化和加速边缘部署是非常关键的一步，也是英伟达撬动更广泛生态的先决条件。
下载ECAD模型
