自注意力引导

使用自注意力引导改进扩散模型的样本质量 由 Susung Hong 等人撰写。

论文的摘要如下：

去噪扩散模型（DDMs）因其卓越的生成质量和多样性而受到关注。这一成功在很大程度上归功于使用类或文本条件扩散引导方法，如分类器和无分类器引导。在本文中，我们提出了一个更全面的角度，超越了传统的引导方法。从这个广义的角度出发，我们引入了新的条件和训练无关的策略来提高生成图像的质量。作为一种简单的解决方案，模糊引导提高了中间样本对其精细尺度和结构信息的适用性，使扩散模型能够在适度的引导尺度下生成更高质量的样本。在此基础上，自注意力引导（SAG）利用扩散模型的中间自注意力图来增强其稳定性和有效性。具体来说，SAG 在每次迭代中仅对扩散模型关注的区域进行对抗性模糊处理，并相应地引导它们。我们的实验结果表明，SAG 提高了各种扩散模型的性能，包括 ADM、IDDPM、Stable Diffusion 和 DiT。此外，将 SAG 与传统的引导方法结合使用可以进一步提高效果。

你可以在项目页面、原始代码库上找到更多关于自注意力引导的信息，并在演示或笔记本中尝试。

StableDiffusionSAGPipeline

[[autodoc]] StableDiffusionSAGPipeline - call - all

StableDiffusionOutput

[[autodoc]] pipelines.stable_diffusion.StableDiffusionPipelineOutput