按示例绘画

按示例绘画：基于示例的扩散模型图像编辑 由杨彬鑫、顾舒扬、张博、张婷、陈学进、孙晓燕、陈东、文芳撰写。

论文摘要：

近年来，语言引导的图像编辑取得了巨大成功。在本文中，我们首次研究了基于示例的图像编辑，以实现更精确的控制。我们通过利用自监督训练来解开和重新组织源图像和示例来实现这一目标。然而，这种简单的方法会导致明显的融合伪影。我们仔细分析了它，并提出了一种信息瓶颈和强大的增强方法，以避免直接复制和粘贴示例图像的平凡解决方案。同时，为了确保编辑过程的可控性，我们为示例图像设计了一个任意形状的蒙版，并利用无分类器引导来提高与示例图像的相似度。整个框架涉及扩散模型的单次前向传播，无需任何迭代优化。我们证明了我们的方法取得了令人印象深刻的性能，并能够以高保真度对野外图像进行可控编辑。

原始代码库可以在 Fantasy-Studio/Paint-by-Example 中找到，你可以在 演示 中试用它。

提示

按示例绘画由官方 Fantasy-Studio/Paint-by-Example 检查点支持。该检查点从 CompVis/stable-diffusion-v1-4 热启动，以对部分遮罩的图像进行修复，这些图像以示例和参考图像为条件。

PaintByExamplePipeline

[[autodoc]] PaintByExamplePipeline - all - call

StableDiffusionPipelineOutput

[[autodoc]] pipelines.stable_diffusion.StableDiffusionPipelineOutput