学习地址1：pan.baidu.com/s/1vWnJbAfD… 提取码: q5pb 学习地址2：pan.baidu.com/s/17peKwZEu… 提取码: zypi
一、什么是Stable Diffusion Stable Diffusion 是 Diffusion 扩散模型中最先进的模式（ Diffusion 有一些早期版本，比如： 原始Diffusion、Latent Diffusion）。它采用了更加稳定、可控和高效的方法来生成高质量图像。在生成图像的质量、速度和成本上都有显著的进步，因此该模型可以直接在消费级显卡上实现图像生成，可达至少 512512 像素的图像。最新的 XL 版本可以在 10241024 像素的级别上生成可控的图像，生成效率也比以往的 Diffusion 扩散模型提高了30倍。目前 Stable Diffusion 的应用已经不局限于图像生成领域，它还被广泛应用于自然语言处理、音频视频等生成领域。
VAE：类似滤镜，是对大模型的补充，稳定画面的色彩范围。多为CKPT/SAFETENSORS扩展名。
LoRA：模型插件，是在基于某个大模型的基础上，深度学习之后炼制出的小模型。需要搭配大模型使用，可以在中小范围内影响出图的风格，或是增加大模型所没有的东西。炼制的时候如果基于SD底模，在不同大模型之间更换使用时的通用性会较好。但如果基于特定的大模型，可能会在和该大模型配合时得到针对性的极佳效果。
ControlNet：神级插件，让SD有了眼睛，能够基于现有图片得到诸如线条或景深的信息，再反推用于处理图片。
Stable Diffusion Web-UI（SD-WEBUI）：开源大神AUTOMATIC1111基于Stability AI算法制作的开源软件，能够展开浏览器，用图形界面操控SD。
二、Stable Diffusion 安装 本地部署安装Stable Diffusion有很多种方式，例如安装启动器，安装传统的Web Ui界面等等，它们的步骤看似繁琐复杂，其实大佬们已经帮我们整合了资源，我们只需要找到正确的下载地址就可以，剩下工作都交给了脚本，大胆往前走！ 鉴于国内很多大佬已经制作了如何安装启动器来本地部署Stable Diffusion，本次主要介绍传统的Web Ui界面部署。 我们可以先安装启动器的运行依赖，并解压秋叶包本体。 第一步：打开“启动器运行依赖-dotnet-6.0.11.exe”来安装。 第二步：解压“sd-webui-aki-v4.zip”。 注意：当我们解压好启动器本体的时候，暂时还不要启动，先一起把模型安装了。 第三步：导入核心数据。 1、下载“推荐大模型”文件夹中的模型。 2、并把文件夹里的所有模型放在这个目录下： \sd-webui-aki-v4\models\Stable-diffusion 3、同时，还要下载“ControlNet模型” 4、ControlNet模型文件夹里的所有内容，放在这个目录下： \sd-webui-aki-v4\models\ControlNet
接着我们双击webui-user.bat文件进行相关的依赖安装。依赖安装过程很慢，但是只要有梯子，几乎所有以来都能安装，下面有一个例外：安装gfpgan一直安装不下来，即使挂了梯子也不行，解决方式是按照下面步骤进行安装 命令行中输入 pip install virtualenv 在CMD命令行中 进入到 Stable-Diffusion-webui所在文件夹下的Scripts文件夹，F:\AI\stable-diffusion-webui\venv\Scripts
执行 pip install gfpgan即可安装成功，如果还是不行，可以多试几次，或者切换一下梯子的服务器，选择欧洲国家最好，如果梯子不支持，建议选择日本、新加坡等，别选香港、台湾(我自己试的不行，可能和我的梯子有关系，各位自行尝试) 这一步安装成功后，关闭cmd
等待Stable-Diffusion-webui相关依赖安装完成。安装完成后，webui-user.bat的运行命令行中显示出如下界面即可
三、stable diffusion使用 stable diffusion是一个基于文本的图像生成模型，它使用提示词（prompts）来指导生成过程。在使用 stable diffusion 时，用户可以： 1、设置参数：包括提示词（正向和反向）、采样步数、采样方法（如Euler a或LMS）、Batch count/n_iter、Batch size、CFG Scale、图像宽度和高度、Seed等。这些参数影响生成的图像质量和多样性。 2、调整提示词：提示词的顺序和内容对生成的图像有重要影响。用户可以通过拆分和优化提示词来提高生成的图像质量。 3、本地部署：如果用户希望在本地运行stable diffusion，需要下载整合包并按照指示进行配置。本地部署的配置要求不高，但需要足够的硬盘空间（至少50GB，建议100GB）和足够的显存（4GB以上）。 4、熟悉界面：在启动stable diffusion后，用户可以通过界面选择基础模型、输入提示词、调整采样方法和迭代步数等来生成图像。界面还包含提示词相关性参数和随机种子参数，这些参数有助于控制生成的图像风格和细节。 5、使用符号调整权重：在输入提示词时，用户可以使用符号语法来调整关键词的权重，以优化生成的图像。 6、优化提示词：用户可以通过第三方网站或相关工具来拆分和优化提示词，以获得更精确的控制和更好的生成效果。 综上所述，使用stable diffusion时，用户需要掌握参数设置、提示词调整、本地部署、界面操作和提示词优化等方面的知识，以获得高质量的图像生成结果
四、总结 Stable Diffusion是一种机器学习模型，它经过训练可以逐步对随机高斯噪声进行去噪以获得感兴趣的样本，例如生成图像。 扩散模型有一个主要的缺点就是去噪过程的时间和内存消耗都非常昂贵。这会使进程变慢，并消耗大量内存。主要原因是它们在像素空间中运行，特别是在生成高分辨率图像时。 Latent diffusion通过在较低维度的潜空间上应用扩散过程而不是使用实际的像素空间来减少内存和计算成本。所以Stable Diffusion引入了Latent diffusion的方式来解决这一问题计算代价昂贵的问题。
看完本文希望你已经知道了如何使用Stable Diffusion以及它具体工作的原理，如果你对他的处理流程还有疑问，可以通过自定义处理管道来深入的了解他的工作流程，希望本文对你有所帮助。
