算力平台:
控制图像质量
扩散模型的组件,如 UNet 和调度器,可以通过优化来提高生成图像的质量,从而获得更好的细节。这些技术特别有用,如果你没有资源简单地使用更大的模型进行推理。你可以在推理过程中启用这些技术,而无需进行额外的训练。
本指南将向你展示如何在管道中启用这些技术,并如何配置它们以提高生成图像的质量。
细节
FreeU 通过重新平衡 UNet 的主干和跳过连接权重来改善图像细节。跳过连接可能导致模型忽略一些主干语义,这可能会导致生成图像中的不自然细节。此技术不需要任何额外的训练,并且可以在推理过程中即时应用于图像到图像和文本到视频等任务。
在你的管道中使用 [~pipelines.StableDiffusionMixin.enable_freeu
] 方法,并配置主干 (b1
和 b2
) 和跳过连接 (s1
和 s2
) 的缩放因子。每个缩放因子后面的数字对应于 UNet 中应用该因子的阶段。参考 FreeU 仓库中不同模型的参考超参数。
调用 [pipelines.StableDiffusionMixin.disable_freeu
] 方法来禁用 FreeU。
py
pipeline.disable_freeu()