stable diffusion 学习笔记

893 阅读3分钟

模型文件:xxx.ckpt,xxx.safetensors

ckpt:

checkpoint模型,大模型,一般为3~7GB,检查点/关键点模型。

这种模型的训练类型玩游戏存档差不多,运行到关键位置,建立一个关键点保存已运算的部分,方便回滚及计算。

保存下来的checkpoint关键点模型,可以支持我们AI作图。

因为是检查点模型,大部分的模型具有不断往下迭代更新的能力。

safetensors

这种模型稍微小一些

是训练者为了让模型更加可靠、高效而开发的,

文件夹

下载模型到 拷贝到sd-webui-aki-v4.1\models\Stable-diffusion

VAE(variational Auto Encoder):变分自解码器

可以理解为调色滤镜,主要影响画面的色彩质感 现在大部分模型已经把VAE放到checkpoint模型下,不需要再加载。 也有一部分模型还是需要加载vae的,不然图片有可能发灰发白

这种模型的文件夹在sd-webui-aki-v4.1\models\VAE

获取渠道

Hugging face:huggingface.co/models

下载官方模型

搜索栏输入:stable diffusion image.png

文生图模型

点击:Text-to-Image image.png

waifu anythin dreamShaper模型

标签介绍

Model card:介绍 Files and versions:文件下载,模型文件一般再safety_checker文件夹

image.png community:社区,讨论区

image.png

C站:civitai.com/

筛选模型的类型,例如选checkpoint模型,则选择checkpoint即可

image.png

合并的模型一般的名称为:xxx_Mix

image.png

Base model

模型训练基于的底模

筛选标签

image.png

模型下载

image.png

复制Prompt(提示词)

image.png

其他人做的图片分享

可以找到图片使用的模型

image.png

模型分类

二次元模型

偏漫画插画型的

代表:anything、Counterfeit、Dreamlike Diffusion、深渊橘(AbyssOrangeMix)、Meina Mix、Cetus Mix、Pastel Mix、DalcefoPainting 等

真实性

比较真实,偏真实,

代表:Deliberate、Realistic Vision 、LOFI(照片级人像输出)等

2.5D风

二次元与真实性之间的

代表:NeverEnding Dream(NED)、Protogen(Realistic)、国风V3(GuoFeng3)

其他

魔幻感的场景:Cheese Daddy's Landscapes mix 现代感的建筑:dvArch-Multi-Prompt Architecture Tuned Model 高级感的平面设计:Graphic Design_2.0

Embedding 文本嵌入 嵌入式向量

类似于书签,可以快速找到相应的模型类型,一般几十KB

在C站上对用这样的模型

image.png

下载下来后缀一般与VAE一样,为.pt文件

放在文件夹sd-webui-aki-v4.1\embeddings

应用

在提示词中加入关键提示词,可以在一个提示词里面加入多个Embedding

例如:复制下面的提示词

image.png

或者把图片上传到stable diffusion后使用反推出提示词

image.png

推荐

三视图: CharTurner - Character Turnaround helper for 1.5 AND 2.1

civitai.com/models/3036…

解决AI画手的问题:EasyNegative(主要针对二次元模型使用),Deep Nagative(主要针对真人使用)

把提示词放入负面提示词里

LoRa (Low-Rank Adaptation Models)低秩模型

类似于详细的描述一个东西,让你创造出类似风格的图片,主要应用到游戏、动漫角色二次创作构建。生成AI里不认识的东西

100~200百兆

下载放到文件夹\sd-webui-aki-v4.1\models\Lora

使用

例如下面的例子:把文件名加入提示词里

<lora:dark theme:0.7>,0.8为权重

image.png

Hypernetwork 超网络

有点类似LoRa,主要针对于画风的改变,设置特定的艺术风格,例如把图片改成雕塑化、像素画、抽象化、Q版图等

使用

设置--》扩展模型

image.png

推荐

q版可爱画风:Waven Chibi Style

文件夹

下载后放到:sd-webui-aki-v4.1\models\hypernetworks

下载

C站下载,筛选Hypernetwork image.png

LyCORIS模型

最近C站悄悄上线了几个LyCORIS模型,也叫LoHA。

从使用方式看,LyCORIS的模型扩展名和lora一样,大多数用法和lora完全一样,但标记出也可以通过LyCORIS插件使用。

安装

在扩展栏,点从网址安装,输入LyCORIS插件地址

github.com/KohakuBluel…

image.png

安装完重启前端,会发现多一个LyCORIS选择

image.png 如果重启前端不管用,则关闭SD,重新启动,我的就是重新启动

文件夹

把文件下载的LyCORIS模型,放到sd-webui-aki-v4.1\models\LyCORIS