刚刚,英伟达在GTC上发布了NVIDIA Jetson AGX Orin。官方宣称,这台AI超级计算机在体积、功能、能效方面都达到业内之最,尺寸只有手掌大小,但是可与内置GPU的服务器相媲美,可用于机器人、自主机器、医疗器械和其他形式的边缘嵌入式计算。
Jetson AGX Orin基于英伟达Ampere架构和Arm Cortex-A78AE CPU,以及新一代深度学习和视觉加速器。并且,具备高速接口、更快的存储带宽和对多模态传感器的支持,为多个并行AI应用流水线输送数据。与前代机型Jetson AGX Xavier保持相同外形尺寸和引脚兼容的情况下,Jetson AGX Orin处理能力提升了6倍,每秒可进行200万亿次运算(TOPS)。
通过这一全新的Jetson计算机,可以加速整个NVIDIA AI软件栈,使得开发者能够部署更大、更复杂的模型,从而解决自然语言理解、3D感知、多传感器融合等领域的边缘AI和机器人技术挑战。
NVIDIA副总裁兼嵌入式和边缘计算总经理Deepu Talla表示:“随着机器人技术和嵌入式计算正在改变制造业、医疗 、零售业、交通、智慧城市和其他重要的经济部门,处理需求持续激增。Jetson AGX Orin专为满足这些需求而推出。”
从2014年第一代Jetson TK1推出以来,Jetson系列基本以每年一次迭代的速度在升级。迄今为止,约有85万名Jetson开发者和6000多家公司,基于Jetson系列进行自主机器和边缘AI应用开发和部署。
为何打造智慧机器人需要端到端的加速平台?
机器人产业正在以惊人的规模发展。黄仁勋刚才在Keynote中指出:“边缘应用本质上就是机器人应用(它们在与自动驾驶汽车类似的要求下进行),边缘计算的统一概念是需要处理一系列任务的组合,包括:传感器、高速I/O、数据处理、信号和物理处理、AI推理和计算机图形等,而所谓‘机器人管道’,必须得到实时地处理,只有足够及时完成处理,才能转化为安全性、成本、容量以及最终的可用性。”
他相信各种传感器、计算和边缘AI的组合,将激发一波新创意,而这势必需要端到端的平台支持。除了新推出的Jetson AGX Orin,英伟达还提供综合全面的软件和生态系统支持,例如NVIDIA CUDA-X加速计算栈、NVIDIA JetPack SDK和最新的NVIDIA工具进行应用开发和优化,包括云原生开发工作流程等。并且,NVIDIA NGC目录的预训练模型已经过优化并且可以使用NVIDIA TAO工具套件和客户数据集进行微调,可以减少生产级AI的部署时间和成本,云原生技术则实现了产品整个生命周期内的无缝更新。
据了解,Jetson 嵌入式计算合作伙伴生态系统包含广泛的服务和产品,包括摄像头和其他多模传感器、载体板、硬件设计服务、AI和系统软件、开发工具和定制软件开发。
其中,针对特定用例的软件框架包括用于机器人技术的NVIDIA Isaac Sim on Omniverse,NVIDIA DRIVE 用于自动驾驶,NVIDIA Metropolis用于智慧城市。 值得一提的是,最新的 Isaac 版本包括了对机器人操作系统 (ROS) 开发人员社区的重要支持。 NVIDIA 还发布了用于合成数据生成和 Isaac GEM 的全新 Omniverse Replicator,这些硬件加速软件包使ROS开发者更容易在Jetson平台上构建高性能AI机器人。
TIRIAS Research首席分析师Jim McGregor表示:“在AI技术进步的推动下,机器人市场正在呈指数级增长。英伟达正在通过强大的生态系统和完整的端到端解决方案(包括一系列运用通用工具和神经网络模型的硬件平台)来推动机器人技术的发展,全新Jetson平台带来了NVIDIA Ampere架构的性能和多功能性,使应用于从农业和制造业到医疗和智慧城市等诸多领域的自主移动机器人取得了更大的进步。”
实时传感器计算平台赋能医疗行业
此外,Jetson AGX Orin也可为NVIDIA Clara Holoscan提供支持,这是医疗行业的一个新计算平台,允许开发者构建软件定义的医疗设备,在边缘运行低延迟流媒体应用程序。
黄仁勋指出,CT扫描仪和重症监护病房摄像头等设备需要这样的处理能力,才能将数据从传感器传输到数据管道,从而实现AI决策支持。这样,开发人员就可以创建AI微服务,在设备上运行低延迟流式应用程序,同时将更复杂的任务传递给数据中心。
“随着设备销售逐渐被医疗设备‘软件即服务’的解决方案所取代,这个行业需要软件定义的影响平台来构建未来,而这些新动态对于患者、医院以及这个价值2000亿美元的行业的仪器制造商来说,都是好消息”,黄仁勋指出。
当然,这对于这个仰赖于仪器的传统行业来说,从商业模式上也将是巨大的颠覆。
NVIDIA DRIVE Orin打造交通新纪元
DRIVE AGX Orin 同样由 Jetson AGX Orin 等 NVIDIA Ampere 架构提供支持,主要针对运输行业。它是新发布的 NVIDIA DRIVE Concierge 和 DRIVE Chauffeur 背后的先进处理器,这两个 AI 平台致力于通过 AI 助手重新定义车内乘客体验,并分别为安全的自动驾驶提供动力。
“移动万物终将自主,无论是完全自主还是大部分自主。到2024年,绝大多数新电动汽车将具备强大的自动驾驶能力”,黄仁勋表示,“NVIDIA Drive是一个全栈式的开放自动驾驶平台,数十家全球汽车和卡车制造商、新能源汽车初创公司和机器人出租车公司正在将其高性能 AI 计算用于其下一代智能、软件定义的移动解决方案。”