jjzjj

DriveDreamer

全部标签

直接干到未来!DriveDreamer-2:世界首个自定义驾驶场景流生成,提升50%!

本文经自动驾驶之心公众号授权转载,转载请联系出处。写在前面&笔者的个人理解世界车型在自动驾驶方面表现出了优势,尤其是在多视图驾驶视频的生成方面。然而,在生成自定义驾驶视频方面仍然存在重大挑战。在本文中,我们提出了DriveDreamer-2,它建立在DriveDreamer的框架上,并结合了一个大语言模型(LLM)来生成用户定义的驾驶视频。具体来说,LLM接口最初被合并以将用户的查询转换为代理轨迹。随后,根据轨迹生成符合交通规则的HDMap。最终,我们提出了统一多视图模型,以增强生成的驾驶视频的时间和空间连贯性。DriveDreamer-2是世界上第一款生成自定义驾驶视频的世界模型,它可以以用