谷歌deepmind于12月5日凌晨发布了大型基础世界模型genie 2,该模型能够根据单张图片或文字描述生成丰富的可交互3d世界。作为genie的升级版,genie 2代表着ai在虚拟世界生成领域的重大进展。
Genie 2能够从多个视角生成连贯的虚拟世界,持续时间最长可达一分钟,通常在10到20秒之间。技术上,Genie 2采用自回归潜在扩散模型,基于海量视频数据训练。 视频数据经自动编码器处理后,潜在帧被送入大型Transformer动力学模型。推理过程中,Genie 2以自回归方式逐帧采样,并结合之前的潜在帧信息。
得益于视频训练,Genie 2能够精确模拟物体交互、动画、光影、物理现象、反射效果以及NPC行为。许多生成的场景画面质量堪比3A级游戏,在视角一致性和场景记忆方面表现出色。 然而,与其他基础世界模型一样,Genie 2仍面临伪影、一致性和幻觉等挑战。
以上就是谷歌推出Genie 2模型,可生成达一分钟的3D高画质游戏的详细内容,更多请关注慧达安全导航其它相关文章!
发表评论 取消回复