• 正文
  • 相关推荐
申请入驻 产业图谱

傅利叶利用 NVIDIA Isaac Gym 训练适用于现实场景的人形机器人

02/20 11:10
1203
加入交流群
扫码加入
获取工程师必备礼包
参与热点资讯讨论

本文和傅利叶研究团队合作完成。

训练人形机器人在需要高度交互性与适应性的领域作业,比如科学研究、医疗保健和制造业等,非常具挑战性且资源消耗很大。

总部位于上海的机器人公司傅利叶正在努力在该领域取得突破,开发先进的人形机器人,使其能够融入对精准度和灵活性要求极高的真实应用场景。

傅利叶于去年 9 月底宣布推出 GR-2,扩展了其 GRx 人形机器人系列。相较于上一代 GR-1(全球首款量产人形机器人),GR-2 进行了硬件设计升级,具备更强的适应性、更先进的灵活性,以及类似人类的活动范围。

利用 NVIDIA Isaac Gym开发人形机器人 GR-2

为了开发和测试 GR-2,傅利叶团队采用了 NVIDIA Isaac Gym(现已弃用)进行强化学习。他们目前正在将其工作流迁移到 NVIDIA Isaac Lab,这是一个开源的模块化机器人学习框架,旨在简化机器人适应新技能的过程。

从仿真到真实的学习已成为机器人技术的关键,特别是对于坐下、起身甚至跳舞等复杂动作而言。借助 Isaac Gym,傅利叶能够实现对真实场景的仿真,最大限度地减少测试和维护的时间和成本。

团队仿真了复杂的多机器人场景和真实环境,从而增强了 AI 决策的鲁棒性,并提升了机器人在不可预测环境中的实际表现。傅利叶还利用 Isaac Gym 对抓取算法进行预训练,在实际部署前,对成功率进行仿真测算。这种方法显著减少了真实世界中的试错,节省了时间和资源。

通过优化 AI,为真实世界的机器人应用赋能

在训练 GR-2 完成从地面躺姿到站立的动作时,傅利叶对在不同高度完成任务所需的物理条件进行了仿真。通过复制 GR-2 模型,他们测试了该模型在各种设置下的表现,并在约 15 小时内完成了 3,000 次迭代,与传统训练方法相比,时间显著缩短。当直接将模型应用于 GR-2 的物理控制时,模型的动作张量成功率达到了 89%。

100 次测试迭代后的检查点

500 次测试迭代后的检查点

1,600 次测试迭代后的检查点

3,000 次测试迭代后的检查点

图 1:傅利叶团队发现在进行 1,600 次测试迭代后,从躺姿到站立动作的成功率显著提高

为了优化开发流程,傅利叶团队还使用了 NVIDIA TensorRT 软件开发工具包进行实时推理优化,利用 CUDA 库进行并行处理,并使用 NVIDIA cuDNN 库加速 PyTorch 等深度学习框架。

迁移到 NVIDIA Isaac Lab 将使傅利叶能够在由 NVIDIA RTX 分块渲染技术支持的多物理虚拟环境中,训练更复杂的算法并进行更多仿真。

探索下一代机器人能力

通过采用 NVIDIA 技术,傅利叶显著缩短了模型训练时间,并提高了仿真的准确性,从而增强了工程和研发团队之间的协作。

NVIDIA 的工具还让复杂的 AI 功能,如语言模型和预测分析等成为了可能,这些功能以往因资源消耗过大而难以实现。

傅利叶 CEO  顾捷表示:“我们所取得的进展正在突破人形机器人技术的边界。通过改进机器人的实时运动控制和 AI 驱动的决策能力,我们正在为服务行业、学术研究和医疗康复等领域的人机交互设定新标准。”

了解更多关于傅利叶 GR-2 人形机器人的信息:http://www.fftai.com/

开始进行开发

需要从 NVIDIA Isaac Gym 迁移到 NVIDIA Isaac Lab,请查看 Isaac Lab 迁移指南:https://isaac-sim.github.io/IsaacLab/main/source/migration/migrating_from_isaacgymenvs.html

如果您是 Isaac Lab 的新用户,请参阅开发者入门指南:https://isaac-sim.github.io/IsaacLab/main/source/tutorials/index.html#

英伟达

英伟达

NVIDIA(中国大陆译名:英伟达,港台译名:辉达),成立于1993年,是一家美国跨国科技公司,总部位于加利福尼亚州圣克拉拉市,由黄仁勋、克里斯·马拉科夫斯基(Chris Malachowsky)和柯蒂斯·普里姆(Curtis Priem)共同创立。公司早期专注于图形芯片设计业务,随着公司技术与业务发展,已成长为一家提供全栈计算的人工智能公司,致力于开发CPU、DPU、GPU和AI软件,为建筑工程、金融服务、科学研究、制造业、汽车等领域的计算解决方案提供支持。

NVIDIA(中国大陆译名:英伟达,港台译名:辉达),成立于1993年,是一家美国跨国科技公司,总部位于加利福尼亚州圣克拉拉市,由黄仁勋、克里斯·马拉科夫斯基(Chris Malachowsky)和柯蒂斯·普里姆(Curtis Priem)共同创立。公司早期专注于图形芯片设计业务,随着公司技术与业务发展,已成长为一家提供全栈计算的人工智能公司,致力于开发CPU、DPU、GPU和AI软件,为建筑工程、金融服务、科学研究、制造业、汽车等领域的计算解决方案提供支持。收起

查看更多
点赞
收藏
评论
分享
加入交流群
举报

相关推荐

登录即可解锁
  • 海量技术文章
  • 设计资源下载
  • 产业链客户资源
  • 写文章/发需求
立即登录

自1993年成立以来,NVIDIA一直在视觉计算的艺术与科学发展中勇当先锋. NVIDIA公司的诸多技术正在彻底改变显示世界的面貌,在高级渲染、高性能计算,乃至远端云服务,你都将看到NVIDIA的身影.