图像模型蒸馏算法 Hyper-SD

字节 lightning 团队发布了新的图像模型蒸馏算法 Hyper-SD。

从一步到八步的推理结果都比之前的蒸馏方式强很多，而且 SD1.5 和 XL 都支持。

详细介绍：

提出了一个创新的框架Hyper-SD，它巧妙地结合了ODE轨迹的保持与改造的优点，同时在压缩推理步骤时保持了接近完美的性能。

首先，我们推出了分段轨迹一致性蒸馏（Trajectory Segmented Consistency Distillation），通过在预设的时间段内进行蒸馏，从而从高层次上保证了原始ODE轨迹的完整性。

其次，我们引入了人类反馈学习机制，旨在提升模型在较少推理步骤下的表现，并减少蒸馏过程中的性能损失。

最后，我们加入了分数蒸馏技术，进一步增强模型在低步推理下的生成能力，并首次尝试通过统一的LoRA机制来支持全过程的推理。

大量实验和用户研究证明，无论是在1步到8步的推理中，Hyper-SD都能为SDXL和SD1.5模型带来最优的性能表现。例如，只用一步推理，Hyper-SDXL在CLIP得分上就比SDXL-Lightning高出0.68分，在Aes得分上也高出了0.51分。