使用Hunyuan-DiT的ControlNet

HunyuanDiTControlNetPipeline是Hunyuan-DiT的ControlNet实现。

ControlNet由Lvmin Zhang、Anyi Rao和Maneesh Agrawala在Adding Conditional Control to Text-to-Image Diffusion Models中提出。

通过ControlNet模型，你可以提供一个额外的控制图像来条件化和控制Hunyuan-DiT的生成。例如，如果你提供一个深度图，ControlNet模型生成的图像将保留深度图中的空间信息。这是一种更灵活和准确的方式来控制图像生成过程。

论文的摘要如下：

我们提出了ControlNet，一种神经网络架构，用于向大型预训练的文本到图像扩散模型添加空间条件控制。ControlNet锁定生产就绪的大型扩散模型，并重用其深度和强大的编码层，这些编码层通过数十亿张图像预训练，作为强大的骨干网络来学习各种条件控制。神经架构通过“零卷积”（零初始化的卷积层）连接，这些层从零开始逐步增长参数，并确保不会因微调而引入有害噪声。我们使用Stable Diffusion测试了各种条件控制，例如边缘、深度、分割、人体姿态等，使用单个或多个条件，有或没有提示。我们展示了ControlNets在小（<50k）和大数据集（>1m）上的训练都是稳健的。广泛的结果表明，ControlNet可能有助于控制图像扩散模型的更广泛应用。

此代码由腾讯Hunyuan团队实现。你可以在腾讯Hunyuan上找到Hunyuan-DiT ControlNets的预训练检查点。

HunyuanDiTControlNetPipeline

[[autodoc]] HunyuanDiTControlNetPipeline - all - call