ControlNet-XS

ControlNet-XS 由 Denis Zavadski 和 Carsten Rother 在 ControlNet-XS 中提出。它基于这样的观察结果：原始 ControlNet 中的控制模型可以做得更小，但仍然可以产生良好的结果。

与原始 ControlNet 模型一样，你可以提供额外的控制图像来调节和控制 Stable Diffusion 生成。例如，如果你提供深度图，ControlNet 模型将生成一个保留深度图空间信息的图像。这是一种更灵活、更准确的控制图像生成过程的方法。

ControlNet-XS 生成的图像质量与常规 ControlNet 相当，但速度快 20-25%（参见基准测试，使用 StableDiffusion-XL），并且内存使用量减少了约 45%。

以下是 项目页面 中的概述：

随着计算能力的不断提升，当前的模型架构似乎遵循了简单地将所有组件升级的趋势，而没有验证这样做的必要性。在本项目中，我们研究了 ControlNet [Zhang 等人，2023] 的大小和架构设计，以控制基于稳定扩散的模型的图像生成过程。我们表明，一个新的架构，其参数量仅为基础模型的 1%，就能取得最先进的结果，在 FID 分数方面明显优于 ControlNet。因此，我们将其称为 ControlNet-XS。我们提供了控制 StableDiffusion-XL [Podell 等人，2023]（模型 B，48M 参数）和 StableDiffusion 2.1 [Rombach 等人，2022]（模型 B，14M 参数）的代码，所有这些代码都在 openrail 许可下。

该模型由 UmerHA 贡献。❤️

StableDiffusionControlNetXSPipeline

[[autodoc]] StableDiffusionControlNetXSPipeline - all - call

StableDiffusionPipelineOutput

[[autodoc]] pipelines.stable_diffusion.StableDiffusionPipelineOutput