AI生图格局大震！Stable Diffusion详细介绍！文生图的稳定之选

Stable Diffusion（SD模型），由Stability AI与LAION等机构合作研发，是一款功能强大的生成式模型，拥有约10亿（1B）参数。其应用广泛，包括但不限于文生图（txt2img）、图生图（img2img）及图像修复（inpainting）等功能。

阿里测试开发

701人浏览 · 2024-11-20 18:31:49

阿里测试开发 · 2024-11-20 18:31:49 发布

“Stable Diffusion（SD模型），由Stability AI与LAION等机构联手打造，是一款拥有约10亿参数的强大生成式模型。其功能多样，涵盖文生图（txt2img）、图生图（img2img）以及图像修复（inpainting）等，为创意领域带来无限可能。”

论文地址：https://arxiv.org/pdf/2112.10752

github地址：https://github.com/CompVis/stable-diffusion

Stable Diffusion网络架构

#Stable Diffusion主要工作流：

提示词输入与文本编码：
文本编码器（Text Encoder）首先将用户输入的提示词（Prompt）转换为语义向量，这些语义向量携带着文本信息的精髓，为后续的图像生成提供指导。

潜在空间压缩：
为降低计算复杂度并提取图像的核心特征，采用变分自编码器（VAE）将高维度的图像数据压缩到一个低维度的潜在空间。这个潜在空间是图像信息的精简表示，为后续的处理提供了便利。

· 正向扩散过程：
在潜在空间中，模型通过逐步添加噪声来模拟物理中的扩散现象。这个过程使得图像的特征逐渐模糊，最终转化为完全随机的噪声分布。该步骤是后续噪声预测和图像恢复提的基础。

· 噪声预测器训练：
在训练阶段，采用U-Net结构的神经网络作为噪声预测器，该网络通过学习如何从噪声图像中恢复出原始图像来训练自己，从而具备预测潜在空间中图像噪声的能力。

· 反向扩散与图像生成：
在生成阶段，模型利用训练好的噪声预测器来估计潜在空间中图像的噪声，并逐步去除这些噪声。通过这一过程，模型能够从噪声中恢复出清晰的图像，实现图像的生成。

· 条件生成机制：
SD模型通过提示词来引导图像的生成。这些提示词首先被分词且转换为嵌入向量，再将向量输入到噪声预测器中，以指导整个图像生成过程。这种条件生成机制确保了生成的图像与提示词的内容高度匹配。

· VAE解码与图像输出：
最后，潜在空间中的图像通过VAE的解码器被转换回原始的像素空间，生成最终的图像。这一步骤将潜在空间中的图像信息还原为可视化的图像。

#CLIP Text Encoder模型：

在SD模型中前置引入CLIP Text Encoder模块，该模块负责将输入的文本信息编码成Text Embeddings特征矩阵，这一矩阵紧密关联并反映了文本信息的核心内容。随后，这些Text Embeddings被用作SD模型的控制信号，指导图像的生成过程，确保生成的图像与输入的文本信息高度匹配。

#VAE模块：

对于图生图任务，在提供文本信息的同时，还需要将原始图片送入VAE，VAE（变分自编码器，全称Variational Auto-Encoder）是一种基于Encoder-Decoder架构的先进生成模型。

VAE的Encoder组件负责将输入的图像高效地转换为一个低维度的Latent特征空间表示，这一表示捕捉了图像的关键信息。随后，这个低维的Latent特征被用作U-Net架构的输入，以进一步驱动图像的生成过程。

VAE的Decoder组件则承担着重建任务，它能够将这个低维的Latent特征逆向映射回原始的像素级图像，实现图像的高质量还原。

对于文生图任务，流程则相对简化：仅需输入文本信息，并借助random函数生成一个高斯噪声矩阵，这个矩阵将作为Latent Feature的替代。

#正向扩散与反向扩散：

· 正向扩散过程（Forward Diffusion Process）：是一个逐步向图像添加高斯噪声的过程，直至图像最终转变为近乎纯粹的随机噪声矩阵。这一过程模拟了信息从清晰图像向无序状态的自然过渡。

· 反向扩散过程（Reverse Diffusion Process）：则是一个去噪过程。它从一个随机噪声矩阵起始，通过一系列迭代步骤，逐步减少并去除噪声，直至最终恢复并生成一张清晰、有意义的图像。这一过程体现了从无序向有序、从潜在空间向可观察图像空间的逆向映射。

U-Net是一种在噪声估计与去除中广泛应用的神经网络架构，其名称源自其独特的U形结构。作为一种全卷积神经网络，U-Net在图像处理领域展现出了极高的效用。

该网络的核心特点在于其能够接收图像作为输入，并通过逐步的下采样（或称为编码过程）来提取图像的低维特征表示。这一过程有助于网络聚焦于图像中的重要属性和结构。随后，U-Net利用上采样（或称为解码过程）逐步恢复图像的细节，直至输出与输入图像尺寸相近的去噪图像。这种设计使得U-Net在图像去噪、分割等多种任务中表现出色。

#图像生成：

U-Net网络在SD中扮演着预测噪声的关键角色，并不断优化生成过程。在预测噪声的同时，U-Net还负责不断融入文本语义信息，以增强生成图像的相关性和准确性。为了更有效地控制生成过程，schedule算法被引入，它对U-Net每次预测的噪声进行动态调整和优化，从而精确控制U-Net预测噪声的强度。

在SD模型中，U-Net的迭代优化过程通常包含大约50到100个Timestep。随着迭代步数的增加，Latent Feature（潜在特征）的质量逐步提升，表现为纯噪声的减少以及图像和文本语义信息的增加。这一过程确保了生成图像的高质量和与输入文本的高度一致性。

在U-Net网络和Schedule算法完成任务后，SD模型会接收经过优化迭代的潜在特征（Latent Feature），并将其输入到变分自编码器（VAE）的解码器部分，以便将这些潜在特征重建为像素级的图像。

如何学习Stable Diffusion ?

2023年，AIGC绘画元年，从年初以来，以Midjourney和Stable Diffusion 为代表的AIGC绘画迎来春天，掀起了一场生产力革命。

Stable diffuson最大的优势在于它的可控性以及免费开源。很多人想学习和使用stable diffusion,网上一搜,往往在安装这一步就劝退了很多人。

也因为Stable diffusion中的参数非常非常多，极其容易劝退,但事实是，对于我们来说，只需要熟练使用即可，并不需要深入的去研究它的原理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的StableDiffusion学习资料包括：StableDiffusion学习思维导图、StableDiffusion必备模型，精品AI学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述