潜在一致性模型
潜在一致性模型 (LCM) 由 Simian Luo、Yiqin Tan、Longbo Huang、Jian Li 和 Hang Zhao 在 潜在一致性模型:使用少量步骤推理合成高分辨率图像 中提出。
该论文的摘要如下:
潜在扩散模型 (LDM) 在合成高分辨率图像方面取得了显著成果。然而,迭代采样过程计算量大,导致生成速度慢。受一致性模型 (song 等人) 的启发,我们提出了潜在一致性模型 (LCM),它能够在任何预训练的 LDM(包括稳定扩散 (rombach 等人))上以最少的步骤进行快速推理。将引导反向扩散过程视为求解增强概率流 ODE (PF-ODE),LCM 被设计为直接预测这种 ODE 在潜在空间中的解,从而减少了对大量迭代的需求,并允许快速、高保真采样。从预训练的无分类器引导扩散模型中有效地提取,高质量的 768 x 768 2~4 步 LCM 只需 32 个 A100 GPU 小时即可完成训练。此外,我们引入了潜在一致性微调 (LCF),这是一种专门用于在自定义图像数据集上微调 LCM 的新方法。在 LAION-5B-Aesthetics 数据集上的评估表明,LCM 在少量步骤推理的情况下实现了最先进的文本到图像生成性能。项目页面:此 https URL。
SimianLuo/LCM_Dreamshaper_v7 检查点的演示可以在 此处 找到。
这些管道由 luosiallen、nagolinc 和 dg845 贡献。
LatentConsistencyModelPipeline
[[autodoc]] LatentConsistencyModelPipeline - all - call - enable_freeu - disable_freeu - enable_vae_slicing - disable_vae_slicing - enable_vae_tiling - disable_vae_tiling
LatentConsistencyModelImg2ImgPipeline
[[autodoc]] LatentConsistencyModelImg2ImgPipeline - all - call - enable_freeu - disable_freeu - enable_vae_slicing - disable_vae_slicing - enable_vae_tiling - disable_vae_tiling
StableDiffusionPipelineOutput
[[autodoc]] pipelines.stable_diffusion.StableDiffusionPipelineOutput