生成式物理引擎genesis开源:模拟速度提升百倍,开启ai新纪元!
这是一个生成式大模型的时代,它们能生成文本、图像、音频、视频、3D模型…… 想象一下,将所有这些结合起来,我们将创造一个怎样的世界?
CMU联合20多家研究机构,历时两年多,开源发布了生成式物理引擎Genesis——一个可能开启新世界起点的重要项目。 它能生成4D动态世界,基于一个适用于通用机器人和物理AI应用的物理模拟平台。
开源地址:https://www.huida178.com/link/e11e328234b5eeffca4362f9e364da0f 项目页面:https://www.huida178.com/link/2d3bd60a2d899b49827efa1d74476809 文档地址:https://www.huida178.com/link/773e3c5180b1c11c54105deb682a6e21
Genesis的主要特性包括:
- 简洁易用的安装和API设计。
- 超高速并行模拟:速度比现有GPU加速模拟器快10到80倍,且不影响精度。
- 支持多种物理求解器,可建模各种材料和物理现象。
- 照片级真实感的光线追踪渲染。
- 可微分性:MPM求解器和工具求解器已实现可微分,其他求解器也将很快支持。
- 物理精确且可微分的触觉传感器。
- 原生支持生成式模拟,可通过语言提示生成各种模态数据,例如:交互式场景、任务、奖励、资产、角色动作、策略、轨迹、相机动作以及物理精确的视频等。
Genesis支持多种硬件和操作系统。在单台RTX 4090上,其模拟速度比实时快约43万倍,仅需26秒即可训练出可迁移到真实世界的机器人运动策略。
Genesis的目标是构建一个通用数据引擎,利用上层生成式框架自动创建物理世界和各种模态数据,用于机器人、物理AI和其他应用。
Genesis的惊艳表现:
Genesis作为高度优化的物理引擎,利用GPU加速并行运算,在各种场景下展现了前所未有的模拟速度。操控场景下,速度可达4300万帧/秒,比实时快43万倍。大规模模拟中,利用“auto-hibernation”加速静态实体模拟(该功能将在0.1.1版本发布)。GPU并行化IK求解器可在2毫秒内完成1万台Franka机器臂的IK求解。
Genesis的应用示例:
- 生成4D动态和物理世界: Genesis结合生成相机和物体运动模块,能够生成物理精确且视图一致的视频和其他数据,支持模拟各种材料。
- 角色动作生成: 通过提示词快速生成复杂的动作和效果。
- 机器人策略生成: 自动生成不同场景下各种技能的机器人策略和演示数据,并可可靠地迁移到实体机器人。
- 3D和完全交互式场景生成: 生成用于训练机器人技能的3D和完全交互的场景。
- 开放世界铰接物体生成: 生成具有铰接结构的物体及其交互过程。
- 软体机器人: Genesis是首个为软肌肉和软机器人及其与刚性机器人的交互提供全面支持的平台。
- 语音音频,面部表情和情绪生成: 支持音频以及面部表情生成。
Genesis的开源,为机器人学研究带来了新的可能性,也让人期待其在未来更多领域的应用。
以上就是历时2年,华人团队力作,震撼开源生成式物理引擎Genesis,可模拟世界万物的详细内容,更多请关注慧达安全导航其它相关文章!
发表评论 取消回复