Meta 昨晚除了 Llama3 之外还发布了他们在 Meta AI 中使用的图像生成蒸馏技术。
通过三步的推理就可以生成跟原始模型一样质量的图像。
此方法包括三大核心技术:
i)逆向蒸馏(Backward Distillation),此技术通过在模型自身的逆向路径上进行微调,以减少训练与推理间的差异;
ii)动态重构损失(Shifted Reconstruction Loss),这一策略能根据当前的时间步骤动态调整知识传递;
iii)噪声修正(Noise Correction),这是一种在推理阶段使用的技术,通过改善噪声预测的精确度来提升样本质量。
点击图片查看原图