VAE，即变分自编码器（Variational Autoencoder），是一种生成模型，它通过学习输入数据的潜在表示来重构输入数据。
在Stable Diffusion 1.4 或 1.5 模型中，通过VAE对模型进行部分更新，以提升模型渲染眼睛的能力。通过这种更新，模型在生成图像时能够更准确地捕捉和再现眼睛的细节，从而提高整体图像的真实感和质量。
VAE 由两部分组成：编码器和解码器。编码器将输入数据映射到一个潜在空间，解码器则从这个潜在空间重构数据。
实际上，你无需安装 VAE 文件即可运行 Stable Diffusion，你使用的任何模型(无论是 v1、v2 还是自定义)都已具有默认 VAE。
当人们说下载和使用 VAE 时，他们指的是使用它的改进版本。
当模型训练器使用其他数据进一步微调模型的 VAE 部分时，就会发生这种情况。在这种情况下，并不需要发布整个的大模型，只需要发布其中的VAE部分即可。
VAE（变分自编码器）的改进通常意味着它能够更精确地从潜在空间解码图像，尤其是在处理精细细节方面，比如眼睛和文本的渲染。
在 Stable Diffusion 模型的上下文中，改进的 VAE 解码器可以更有效地捕捉和再现图像中的微妙特征，这对于生成高质量的图像至关重要。
Stability AI 发布了两种微调的 VAE 解码器变体，分别是：
这两种变体可能对应于不同的训练策略或目标函数，旨在优化 VAE 解码器的性能，特别是在渲染细节方面。选择哪一种变体可能取决于特定的应用场景和所需的输出质量。
使用这些微调的 VAE 解码器变体，可以期望在生成的图像中看到以下改进：
下面是一些对比的例子：
那么应该使用哪个呢？
Stability AI 对于 256×256 分辨率图像的评估指出，使用 EMA（指数移动平均线）的 VAE 解码器生成的图像在细节上更加清晰，而使用 MSE（均方误差）的解码器生成的图像则在视觉上更为平滑。
在Stable Diffusion v1.4 和 v1.5 在 512×512 分辨率图像的测试中，可以观察到在某些情况下，尤其是在人脸在图像中占比较小的时候，眼睛的渲染质量有所提升。但是到文本渲染方面并没有太多改善。
所以总结一下，新的 VAE 更新至少不会降低模型的性能，它要么提升了渲染质量，要么保持原有水平。
EMA（指数移动平均线）和 MSE（均方误差）这两种微调的 VAE 解码器变体与 Stable Diffusion v2.0 模型是兼容的。尽管在 v2.0 版本中，它们可能带来的改进效果相对较小，因为 v2.0 本身在渲染眼睛方面已经表现得相当出色。
使用 VAE（变分自编码器）的决定确实取决于你对当前结果的满意度以及你对细节改进的追求程度。
目前，Stability 发布了两个改进的 VAE 版本。以下是直接下载链接。
如果你用的是webUI。那么将下载的 VAE 文件放在目录中:'stablediffusion-webui/models/VAE'即可。
为方便起见，请在 Linux 或 Mac OS 的 stable-diffusion-webui 目录下运行以下命令，会自动下载并安装 VAE 文件。
wget https://huggingface.co/stabilityai/sd-vae-ft-ema-original/resolve/main/vae-ft-ema-560000-ema-pruned.ckpt -O models/VAE/vae-ft-ema-560000-ema-pruned.ckpt
wget https://huggingface.co/stabilityai/sd-vae-ft-mse-original/resolve/main/vae-ft-mse-840000-ema-pruned.ckpt -O models/VAE/vae-ft-mse-840000-ema-pruned.ckpt
要在 AUTOMATIC1111 GUI 中使用 VAE，请单击左侧的“设置”选项卡，然后单击“VAE”部分。
在 SD VAE 下拉菜单中，选择要使用的 VAE 文件。
如果你的页面没有这个选项，那么可以到设置->user interface->quick settings list中把sd_vae加上即可：
在我们使用SD web UI的过程中，有很多采样器可以选择，那么什么是采样器？它们是如何工作的？它们之间有什么区别？你应该使用哪一个？这篇文章将会给你想要的答案。
想知道精致的AI插画是如何实现的吗？接下来，我将结合这个案例带你走进 Stable Diffusion 的世界，帮你系统性地了解并掌握这神奇AI绘画魔法。