AutoencoderKL
带有KL损失的变分自编码器(VAE)模型由Diederik P. Kingma和Max Welling在Auto-Encoding Variational Bayes中提出。该模型用于🤗 Diffusers中,将图像编码为潜在变量,并将潜在表示解码为图像。
论文的摘要如下:
在存在连续潜在变量且其后验分布难以处理的有向概率模型中,以及在大数据集的情况下,我们如何进行有效的推理和学习?我们引入了一种随机变分推理和学习算法,该算法可扩展到大样本集,并且在一些温和的可微性条件下,甚至在难以处理的情况下也能工作。我们的贡献有两方面。首先,我们展示了通过重新参数化变分下界,可以得到一个下界估计器,该估计器可以使用标准的随机梯度方法直接优化。其次,我们展示了对于每个数据点具有连续潜在变量的独立同分布数据集,通过使用提出的下界估计器拟合一个近似推理模型(也称为识别模型)来逼近难以处理的后验分布,可以使后验推理变得特别高效。理论上的优势在实验结果中得到了体现。
从原始格式加载
默认情况下,[AutoencoderKL
]应通过[~ModelMixin.from_pretrained
]加载,但也可以使用[FromOriginalModelMixin.from_single_file
]从原始格式加载,如下所示:
from diffusers import AutoencoderKL
url = "https://huggingface.co/stabilityai/sd-vae-ft-mse-original/blob/main/vae-ft-mse-840000-ema-pruned.safetensors" # can also be a local file
model = AutoencoderKL.from_single_file(url)
AutoencoderKL
[[autodoc]] AutoencoderKL - decode - encode - all
AutoencoderKLOutput
[[autodoc]] models.autoencoders.autoencoder_kl.AutoencoderKLOutput
DecoderOutput
[[autodoc]] models.autoencoders.vae.DecoderOutput
FlaxAutoencoderKL
[[autodoc]] FlaxAutoencoderKL
FlaxAutoencoderKLOutput
[[autodoc]] models.vae_flax.FlaxAutoencoderKLOutput
FlaxDecoderOutput
[[autodoc]] models.vae_flax.FlaxDecoderOutput