Stable Diffusion

Stable Diffusion是由CompVis、Stability AI和LAION团队开发的一款文本到图像的潜在扩散模型。该模型采用512x512图像进行训练，并可以生成包括人脸在内的各类图像。其核心思想是通过 Latent Diffusion 技术在较低维度的潜空间上进行扩散过程，降低计算和内存成本。具体而言，该模型主要由自动编码器（VAE）、U-Net 和 Text-Encoder 构成。VAE 由编码器和解码器组成，其中编码器将图像转换为低维潜在表示，解码器则将潜在表示转换回图像。U-Net 结构包括编码器和解码器，编码器负责下采样图像，解码器则负责上采样图像。此外，模型的推理过程涉及将随机种子和文本提示输入到潜在空间，然后使用 U-Net 对随机潜在图像表示进行去噪。目前，Stable Diffusion 提供了一个简单的 API，用户可以通过该API生成图像。