jjzjj

PixelDance

全部标签

视频生成的发展史及其原理解析:从Gen2、Emu Video到PixelDance、SVD、Pika 1.0

前言考虑到文生视频开始爆发,比如11月份就是文生视频最火爆的一个月11月3日,Runway的Gen-2发布里程碑式更新,支持4K超逼真的清晰度作品(runway是StableDiffusion最早版本的开发商,StabilityAI则开发的SD后续版本)11月16日,Meta发布文生视频模型EmuVideo11月18日,字节跳动半路杀出发布PixelDance11月21日,开发并维护StableDiffusion后续版本的StabilityAI终于发布了他们自家的生成式视频模型:StableVideoDiffusion(SVD)加之不止一个B端客户找到七月,希望帮其做文生视频的应用,故我司第一

视频生成新突破:PixelDance,轻松呈现复杂动作与炫酷特效

最近,除了大语言模型继续持续刷屏,视频生成技术也取得了重大进展,多家公司相继发布了新模型。首先,作为最早探索视频生成领域的领头羊之一,Runway升级了其Gen-2模型,带来了电影级别的高清晰度,令人瞩目,并称视频生成的一致性得到了重大改进。但是,这种一致性的提升似乎是以牺牲视频动态性为代价的。从Gen-2的官方宣传视频中可以看出,尽管集合了多个短片段,但每个片段的动态性相对较弱,难以捕捉到人物、动物或物体的清晰动作和运动。近期,Meta也发布了视频生成模型EmuVideo。从EmuVideo的官方示例中可以看出,其视频的动态性比Gen-2有明显提高,但仍然局限于较为简单的动作。开发出了经典的