Meta 发布了一个文字对视频进行编辑的项目:Fairy。
主要的优势除了一致性和真实度之外,还有极高的生成效率。
只需要14秒就可以生成120帧512x384的视频(30 FPS,持续4秒)。比之前的同类项目快 44 倍。
官方简介:
Fairy,这是一种简约而强大的图像编辑扩散模型的改进版本,用于视频编辑应用。
我们的方法集中在基于锚点的跨帧注意力的概念上,这种机制可以隐式地在帧之间传播扩散特征,确保优越的时间一致性和高保真度的合成。
Fairy不仅解决了以前模型的限制,包括内存和处理速度。它还通过独特的数据增强策略改善了时间一致性。这种策略使模型在源图像和目标图像中对仿射变换具有等变性。
令人惊讶的是,Fairy在仅14秒内生成了120帧512x384的视频(30 FPS,持续4秒),至少比之前的作品快44倍。
一个涉及1000个生成样本的全面用户研究证实,我们的方法提供了卓越的质量,明显优于已建立的方法。
项目地址:https://t.co/ZWpO33pn7n