可扩展的 Transformer 扩散模型 (DiT)

可扩展的 Transformer 扩散模型 (DiT) 由 William Peebles 和 Saining Xie 提出。

论文摘要如下：

我们探索了一种基于 Transformer 架构的新型扩散模型。我们训练了图像的潜在扩散模型，用处理潜在补丁的 Transformer 替换了常用的 U-Net 主干网络。我们通过 Gflops 衡量的正向传递复杂度分析了扩散 Transformer (DiT) 的可扩展性。我们发现，具有更高 Gflops 的 DiT（通过增加 Transformer 深度/宽度或增加输入 token 数量）始终具有更低的 FID。除了拥有良好的可扩展性之外，我们最大的 DiT-XL/2 模型在条件类 ImageNet 512x512 和 256x256 基准测试中超越了所有先前的扩散模型，在后者上实现了 2.27 的最先进 FID。

原始代码库可以在 facebookresearch/dit 中找到。

DiTPipeline

[[autodoc]] DiTPipeline - all - call

ImagePipelineOutput

[[autodoc]] pipelines.ImagePipelineOutput