与AI相识#

stable diffusion之源#

AI绘图最初是由于包括DALLE2、MidJourney、Disco diffusion、DreamStudio、Stable Diffusion在内的一些AI绘画网站的出现，引发了AI绘画的热潮，最让此事更进一步的可以说是开源可商用并且生成速度迅速的SD。

Stable diffusion中文名：稳定扩散，这里再提一嘴Latent diffusion（潜在扩散），他们的关系是什么：

源自wiki：

Stable Diffusion uses a kind of diffusion model (DM), called a latent diffusion model (LDM)

Stable Diffusion是一种潜在的 扩散模型是慕尼黑大学CompVis 小组开发的一种深度生成神经网络。该模型由 Stability AI、CompVis LMU 和 Runway 在 EleutherAI 和LAION的支持下合作发布。

笔者可以理解为团队中取自stabilityAI的stable之名，其算法源自于早些年论文提出的潜在模型算法。

Stable Diffusion 算法上来自 CompVis 和 Runway 团队于 2021 年 12 月提出的 “潜在扩散模型”（LDM / Latent Diffusion Model），这个模型又是基于 2015 年提出的扩散模型（DM / Diffusion Model）。

说句题外话，我非常想知道为什么 Stable Diffusion 叫 Stable Diffusion，但没找到官方说明，这里做一个猜测：之所以这个基于 Latent Diffusion的模型叫 Stable Diffusion，可能一方面表示这个模型效果很稳定（Stable），另一方面是致敬一下（算力 & 数据上的）金主爸爸 Stability.ai。

潜在模型算法#

总的来说，分为三个模块：CLIP、Unet和VAE

如果让计算机对512x512分辨率的rgb图片进行学习，那么其维度将会是512x512x3也就是786432维度，计算机面对如此庞大的数据进行学习将会对算力性能有极高的要求。而正是潜在模型算法的提出和实现使得这种AI学习技术飞入寻常百姓家。

团队人员提出，如果将图片的信息进行压缩，使其映射到一个“潜在空间”，那么将会使得计算机的学习非常方便和迅速。

AI 就是通过学习找到了一个「图片潜在空间」，每张图片都可以对应到其中一个点，相近的两个点可能就是内容、风格相似的图片。

所以常说的xyz轴其实就表示了潜在空间。

Linux环境下SD-WebUI的搭建#

1. 新建python3.10.6的conda环境：

1
conda create -n py3106 python=3.10.6

2. 进入conda环境

1
conda init
2
conda activate py3106

3. 克隆项目

1
git clone https://github.com/AUTOMATIC1111/stable-diffusion-webui.git

如果git下载出错采用

1
git config --global http.postBuffer 5242880000
2
git config --global https.postBuffer 5242880000
3
git config --global http.sslverify "false"

或者采用git镜像 kgithub

全局：（慎用）

1
git config --system url."https://kgithub.com/".insteadOf https://github.com/

4. root权限下关闭限制：修改webui.sh

1
# this script cannot be run as root by default
2
can_run_as_root=1

5. 运行webui.sh

1
bash webui.sh --listen --port 9099

期间会下载依赖和模型，如果下载出错，可以去launch.py中尝试把github.com改成kgithub.com

启动参数：

1
usage: launch.py [-h] [--data-dir DATA_DIR] [--config CONFIG] [--ckpt CKPT] [--ckpt-dir CKPT_DIR] [--vae-dir VAE_DIR]
2
                 [--gfpgan-dir GFPGAN_DIR] [--gfpgan-model GFPGAN_MODEL] [--no-half] [--no-half-vae] [--no-progressbar-hiding]
3
                 [--max-batch-count MAX_BATCH_COUNT] [--embeddings-dir EMBEDDINGS_DIR]
4
                 [--textual-inversion-templates-dir TEXTUAL_INVERSION_TEMPLATES_DIR] [--hypernetwork-dir HYPERNETWORK_DIR]
5
                 [--localizations-dir LOCALIZATIONS_DIR] [--allow-code] [--medvram] [--lowvram] [--lowram] [--always-batch-cond-uncond]
6
                 [--unload-gfpgan] [--precision {full,autocast}] [--upcast-sampling] [--share] [--ngrok NGROK]
7
                 [--ngrok-region NGROK_REGION] [--enable-insecure-extension-access] [--codeformer-models-path CODEFORMER_MODELS_PATH]
8
                 [--gfpgan-models-path GFPGAN_MODELS_PATH] [--esrgan-models-path ESRGAN_MODELS_PATH]
9
                 [--bsrgan-models-path BSRGAN_MODELS_PATH] [--realesrgan-models-path REALESRGAN_MODELS_PATH]
10
                 [--clip-models-path CLIP_MODELS_PATH] [--xformers] [--force-enable-xformers] [--xformers-flash-attention]
11
                 [--deepdanbooru] [--opt-split-attention] [--opt-sub-quad-attention] [--sub-quad-q-chunk-size SUB_QUAD_Q_CHUNK_SIZE]
12
                 [--sub-quad-kv-chunk-size SUB_QUAD_KV_CHUNK_SIZE] [--sub-quad-chunk-threshold SUB_QUAD_CHUNK_THRESHOLD]
13
                 [--opt-split-attention-invokeai] [--opt-split-attention-v1] [--opt-sdp-attention] [--opt-sdp-no-mem-attention]
14
                 [--disable-opt-split-attention] [--disable-nan-check] [--use-cpu USE_CPU [USE_CPU ...]] [--listen] [--port PORT]
15
                 [--show-negative-prompt] [--ui-config-file UI_CONFIG_FILE] [--hide-ui-dir-config] [--freeze-settings]
16
                 [--ui-settings-file UI_SETTINGS_FILE] [--gradio-debug] [--gradio-auth GRADIO_AUTH] [--gradio-auth-path GRADIO_AUTH_PATH]
17
                 [--gradio-img2img-tool GRADIO_IMG2IMG_TOOL] [--gradio-inpaint-tool GRADIO_INPAINT_TOOL] [--opt-channelslast]
18
                 [--styles-file STYLES_FILE] [--autolaunch] [--theme THEME] [--use-textbox-seed] [--disable-console-progressbars]
19
                 [--enable-console-prompts] [--vae-path VAE_PATH] [--disable-safe-unpickle] [--api] [--api-auth API_AUTH] [--api-log]
20
                 [--nowebui] [--ui-debug-mode] [--device-id DEVICE_ID] [--administrator] [--cors-allow-origins CORS_ALLOW_ORIGINS]
21
                 [--cors-allow-origins-regex CORS_ALLOW_ORIGINS_REGEX] [--tls-keyfile TLS_KEYFILE] [--tls-certfile TLS_CERTFILE]
22
                 [--server-name SERVER_NAME] [--gradio-queue] [--skip-version-check] [--no-hashing] [--no-download-sd-model]
23
                 [--addnet-max-model-count ADDNET_MAX_MODEL_COUNT] [--controlnet-dir CONTROLNET_DIR] [--no-half-controlnet]
24
                 [--dreambooth-models-path DREAMBOOTH_MODELS_PATH] [--lora-models-path LORA_MODELS_PATH] [--ckptfix] [--force-cpu]
25
                 [--profile-db] [--debug-db] [--ldsr-models-path LDSR_MODELS_PATH] [--lora-dir LORA_DIR]
26
                 [--scunet-models-path SCUNET_MODELS_PATH] [--swinir-models-path SWINIR_MODELS_PATH]

运行报错,without xformers，解决办法：

带上--xformers启动参数，python3.10环境会自动下载安装无需编译

1
commandline_args = os.environ.get('COMMANDLINE_ARGS', "--xformers")

采用人脸修复模型时 codeformer/gfpgan会下载对应模型，如果下载中断报错，手动下载到/models/xxx/

codeformer：

1
wget https://github.com/sczhou/CodeFormer/releases/download/v0.1.0/codeformer.pth

缺少libgl报错

1
apt update
2
apt install libgl1-mesa-glx
3
apt install libglib2.0-dev

6. 设置中文，下载插件报错，重新运行服务，运行时命令行添加arg： --enable-insecure-extension-access：

1
 --listen --port 9099 --enable-insecure-extension-access --xformers

下载失败：

手动下载：/extensions/

1
cd /extensions
2
git clone https://kgithub.com/dtlnor/stable-diffusion-webui-localization-zh_CN.git

设置 user interface localization -> zh

apply,reload webui

7. 下载controlnet插件

   修改设置中的yaml的目录

插件集合

错误处理#

• 若原来没有问题，某次开始启动过程中若出现报错，请排查安装某个插件的原因。

  怀疑是某个插件修改了python包中的文件，尝试移除venv文件夹，并且切换至conda python3.10.6环境重新运行webui.sh，这将重新自动生成venv虚拟环境。

• 如果你确定项目依赖没有问题，但是每次启动时又会检测依赖花费很长时间，那么可以在launch.py文件中找到以下一行并注释掉：

  1
  run_pip(f"install -r {requirements_file}", "requirements for Web UI")
  

• 启动了—listen arg后插件的操作将会被影响，如果希望可信用户操作插件，请使用--enable-insecure-extension-access arg。

• 出现报错：

  1
  Warning: StyleAdapter and cfg/guess mode may not works due to non-batch-cond inference
  

  解决办法

运行程序的一些命令行参数及解释#

一些模型分析#

截止2023.3.6日，笔者下载了一些checkpoint （大多是safetensors格式），anime开头是代表二次元风格，true开头代表真实风格，pixiv代表是p站的画师图训练的。

上图是真实跑出来的图片作为封面示例，下面是笔者的一些评价：

• Anything-V3.0

  实测效果比NovelAI强很多。搭配了配套VAE，解决了灰图问题，比较推荐。

• PastelMix、WinterMoonMix，NightSkyYOZORA、CetusMix

  可以结合Flat_COLOR的lora生成线条比较明显的画风，并且适合让ControlNet插件的Canny去解析成线稿并且重新上色。

• dalcefo

  比较温和的类古风画风。

• momoko-e、momoko——18000

  画师momoko的画风。网上模型很多（比如momoko-p之类的），风格比较明显，不过个人感觉画风不是很喜欢。

  momoko+炫彩厚涂：网上个人混合的模型。

• SD官方V1.5

  没人用。

警告：以下模型极易生成NSFW内容。

• MeinaMix

  中规中矩的二次元画风，效果还不错。

• atd

  pixiv画师yuanzidan的画风。

• NovelAI

  不知道是不是我下错包了，网上大火的泄露模型这么。。。一言难尽？

• ChilloutMix、RealDosMix

  都是真实风格模型。前者C站下载量第一，后者比较网红脸。

模型概况#

当前，常见的模型可以分为两大类：大模型 ，以及用于微调大模型的小模型。

这里的大模型特指标准的 latent-diffusion 模型。拥有完整的 TextEncoder、U-Net、VAE。通常被叫做checkpoint（.ckpt）

如上述的官方SDM就是大模型

由于想要炼制、微调（finetune）大模型十分困难，需要好显卡、算力，因此大模型通常是由官方AI机构发布而来。而小型模型大多则由民间训练而成。这些小型模型通过作用在大模型的不同部分，来简单的修改大模型，从而达到目的。

常见的用于微调大模型的小型模型又分为以下几种：Textual inversion (常说的Embedding模型)、Hypernetwork模型、LoRA模型。

此外，还有一种叫做 VAE 的模型，通常来讲 VAE 可以看做是类似滤镜一样的东西。他会影响出图的画面的色彩和某些极其微小的细节。大模型本身里面就自带 VAE 的，但是一些融合模型的 VAE 烂掉了 （典型：Anything-v3），需要外置 VAE 的覆盖来救救。有时画面发灰就是因为这个原因。

VAE, Variational autoencoder。变分自编码器，负责将潜空间的数据转换为正常图像。

模型hash值，hash值通过文件计算而来，通常通过一个hash值可以标识唯一一个模型文件。

模型的Hash

NovelAI模型的Hash, 是其文件从文件首部偏移0x100000后的, 0x10000大小的文件片段数据的,sha-256值的前4个字节(即8个16进制数)。算的文件一部分.(具体可见 stable-diffusion-webui\modules\sd_models.py 的model_hash函数)

EMA是什么？#

模型文件名中带EMA一般意味着这是个用来继续训练的模型,文件大小相对较大。

与之相比,正常的、大小相当较小的那个模型文件是为了做推理生成的。

对于那些有兴趣真正理解发生了什么的人来说，应该使用EMA模型来进行推理。

小模型实际上有EMA权重。而大模型是一个 “完整版”，既有EMA权重，也有标准权重。因此，如果你想训练这个模型，你应该加载完整的模型，并使用use_ema=False。

模型精度#

模型文件后缀#

目前，常见的 AI绘画 用模型后缀名有如下几种：

1. .ckpt
2. .pt
3. .pth
4. .safetensors
5. 特殊

前面四种后缀名都是标准的模型，前三种是pytorch的标准模型的保存格式。

前面三种由于使用了 Pickle，会有一定的安全风险（自行百度：pickle反序列化攻击）。第四种为一种新型的模型格式，正如同他的名字，safe。为了解决前面的这几种模型的安全风险而出现的。safetensors 格式与 pytorch 的模型可以通过工具进行任意转换，只是保存数据的方式不同，内容数据没有任何区别。

模型分类和存放位置#

1. 大模型。

   通常以ckpt后缀。这类模型通常放在SD-webui项目中的model/Stable-diffusion目录中，再webui的左上角可以选择的就是“大模型”。

   常见的LDM：

   Stable Diffusion、Waifu Diffusion、Anything-v3.0、NovelAI等等。

   • NovelAI的模型训练使用了数千个网站的数十亿张图片，包括 Pixiv、Twitter、DeviantArt、Tumblr等网站的作品。

   • waifu的模型可用于生成二次元的卡通形象，可以生成独有的二次元动漫小姐姐和主人公。

   • Stable diffusion-v1.5，以英文为输入的通用图像生成模型。

   在二次元领域，Anything和NovelAI通常是被互相比较的对象，有人怀疑A的模型的大小是7G和NovelAI官方的final包大小一样，二者很相似，不过Anything-v3.0会有VAE的问题，详见后文。

2. 小模型

   2.1 Embedding (Textual inversion)模型

   俗称的 embedding 模型。常见格式为 pt、png图片、webp图片。大小一般在 KB 级别。

   放在embeddings文件夹中。

   使用时再prompt中带上文件名作为tag。

   可训练：画风√ 人物√ | 推荐训练：人物。

   此种模型比较基础，局限性较大。

   2.2 Hypernetwork模型

   常见格式为 pt。大小一般在几十兆到几百兆不等。由于这种模型可以自定义的参数非常之多，一些离谱的 Hypernetwork 模型可以达到 GB 级别。

   放在hypernetworks文件夹中。

   可训练：画风√ 人物√ | 推荐训练：画风。

   此种模型非常强大，难训练。

   2.3 LoRA模型

   通常可以在网站civitai中查阅和下载，也是当今最火的小模型种类之一。

   放在models/Lora文件夹。

   如果装了network插件可以将Lora模型放入插件目录中的models/lora/文件夹中。

   <lora:模型名:权重> 可以直接用这个tag调用lora模型。

   可训练：画风? 人物√ 概念√ | 推荐训练：人物。

   此种模型训练容易，配置要求低，效果好。

   2.4 VAE模型

   常见格式.pt。

   放在models/VAE文件夹。

   VAE解码器是用来将图片从潜在空间恢复到真实图像，所以可以理解为最后一步的滤镜。

   一般ckpt都自带VAE，有些自己提供额外的VAE模型，那么就要下载下来放在目录里外挂，还有些没有VAE的出图会发灰，需要自己指定一个效果还可以的VAE模型。

   通常与ckpt配套的VAE需要设置同名例如：xxx.vae.pt以便自动识别出。

   2.5 Dreambooth /Native Train

   可训练：画风√ 人物√ 概念√ | 推荐训练：Dreambooth 推荐人物，Native Train 推荐画风。

   训练速度：慢 | 训练难度：可以简单可以很难。

   微调大模型，非常强大的训练方式，但是使用上会不那么灵活，推荐训练画风用，人物使用 LoRA 训练。

   2.6 DreamArtist

   暂无

模型资源#

1. https://rentry.co/sdmodels（目前觉得比较全）

2. https://cyberes.github.io/stable-diffusion-models/（SD模型）

3. https://publicprompts.art/ （App Icon Generator，比较有趣想资源）

4. https://huggingface.co/ （在网站中检索）

5. http://aimodel.subrecovery.top

6. https://docs.qq.com/doc/DY0lFeWZuVXRCdUJU

7. http://www.123114514.xyz/models/ckpt（挺多私炉的）

8. civita

9. discord频道

其他模型信息#

Pruned为精简过后的模型

解决Anything-v3.0不加载VAE导致画面发灰：

设置里Stable Diffusion选项，选项模型的VAE（SD VAE）加载VAE。

提示词Prompt#

1. 主体+细节描述+标签词。

2. nagtive 否定。过滤不需要的描述。

1
((poorly drawn hands)) more than 1 left hand, more than 1 right hand, short arm, (((missing arms))), bad hands,missing fingers,extradigit,fewer digits,mutated hands,{fused fingers},{too many fingers},sharp fingers,wrong figernails,long hand,double middle finger,index fingers together,missing indexfinger,interlocked fingers,pieck fingers,sharp fingernails,{steepled fingers},x fingers,curled fingers,interlocked fingers,fingers different thickness,cross fingers,poor outline,big fingers,finger growth,outline on body,outline on hair,out line on background,outline not on fingers,more than one hands,fuse arm,fuse elbow,more than two arm,more than two elbow,hand:fingers(1:5),arm:finger(1:1)

反向提示词 Negative prompt#

用文字描述你不想在图像中出现的东西，AI大致做法就是：

1. 对图片进行去噪处理，使其看起来更像你的提示词。

2. 对图片进行去噪处理，使其看起来更像你的反向提示词。

3. 观察这两者之间的差异，并利用它来产生一组对噪声图片的改变。

4. 尝试将最终结果移向前者而远离后者。

5. 一个相对比较通用的负面提示词设置：

   lowres,bad anatomy,bad hands,text,error,missing fingers, extra digit,fewer digits,cropped,worst quality, low quality,normal quality,jpeg artifacts,signature, watermark,username,blurry,missing arms,long neck, Humpbacked,missing limb,too many fingers, mutated,poorly drawn,out of frame,bad hands, owres,unclear eyes,poorly drawn,cloned face,bad face

长宽尺寸#

长宽尺寸并非数值越大越好，最佳的范围应在512至768像素之间。

由于模型大多是由512分辨率图片训练而成，过高的尺寸可能会生成重复的元素导致画面很奇怪。如果不希望主题对象出现重复，应在此范围内选择适当的尺寸。如果您需要更高分辨率的图片，建议先使用SD模型生成图片，然后再使用合适的模型进行upscale。

CFG scale 提示词相关性#

这类似于DD中的CGS参数。较高的数值将提高生成结果与提示的匹配度，同时也会导致画面多样性降低，增加结果图片的饱和度和对比度，使颜色更加平滑，但纹理较少。但当数值高于20时，效果可能会变差。

基本理解：扩散模型生成图像的过程是将以一张满是噪点的图为基准，一点一点地向目标（prompt）“扩散”靠近。其中，CFG可以大致理解为prompt对扩散过程的指导强度。CFG越大，AI就越努力地想将图片精准绘制成prompt中的样子，反之，AI则会自由发挥，生成的目的性不是很强（可能会更有“艺术性”或“创造性”） 作者：孤坟killr https://www.bilibili.com/read/cv19739185 出处：bilibili

可以理解为初始噪声为一杯浑浊的水，在prompt的引导下最终反向汇聚成滴入的那滴墨，cfg越高，越凝聚，反之随意的程度越高。

Denoising strength 重绘幅度#

采样图的保留程度，值越小加的噪声越少，对采样图保留越多。

当进行以图绘图（img2img）时，同样地，基于基本原理，AI会先在图片中添加噪点，再进行扩散绘图。这就引入了新的参数：Denoising strength，添加噪点的强度。AI是基于噪点扩散的，噪点强度越高，AI的创作空间就越大，出图也就和原图越不相似 作者：孤坟killr https://www.bilibili.com/read/cv19739185 出处：bilibili

可以看出，当噪声强度极小时，CFG再大也没有用，AI没有发挥空间。

当噪声强度极大时，CFG就比较关键了，会较大地影响图片内容：当CFG极小时，画面很模糊（这个画风让我想起了DiscoDiffusion）；CFG在7左右，已经能正常生成图片，但没有背景（prompt中的battleground被忽略）；随CFG进一步增大，在11时出现了背景；当CFG达到20，背景才被画成战场battleground。

值得注意的是，在噪声强度仅为0.2-0.3时，尽管AI创作空间不大，但只要CFG足够大，AI也基本能生成画风比较像样的图了。

此外还有一些特点：

CFG过小似乎会生成模糊的、笔触很强的感觉的画。

CFG较大时似乎光影对比会更强烈。

对Dinoisingstrength而言，0.5似乎是一个很关键的阈值。超过0.5之后，即便CFG不大，普遍也能实现从临摹到二创的跳跃。 作者：孤坟killr https://www.bilibili.com/read/cv19739185 出处：bilibili

Steps 采样迭代步数#

指的是Stable Diffusion生成图像所需的迭代步数。每增加一步迭代，都会给AI更多的机会去比对提示和当前结果，并进行调整。更高的迭代步数需要更多的计算时间。但高步数并不一定意味着更好的结果。当然，如果迭代步数太少，会降低生成图像的质量。

Seed随机数种子#

种子一致，参数一致，生成的图像就会比较相同。

种子一致，参数微调，生成的图像类似。

Sampling Method采样方法#

通过求解函数f(x)得到分布p(x)的期望值。Stable Diffusion提供了多种采样方法以适配众多特定的应用场景。没有绝对完美的采样方法，在使用时候可以多测试一下几种采样方法，只要输出结果合适就可以了。

Batch count 生成批次 和 Batch size 每批数量#

决定生成多少张图像前者越大消耗的时间越长，后者越大需要的显存越大。

三种图像优化技术#

• Restore face：面部优化技术

• Tiling：CUDA矩阵乘法优化

• Highres：使用两个步骤的过程进行生成。第一步以较小的分辨率创建图像，然后在不改变构图的情况下改进其中的细节，选择该部分会有两个新的参数 Scale latent 对图像进行缩放。第二步是升级从上一步产生完整的图像，Denoising strength 决定算法对图像内容的保留程度，在0处，什么都不会改变，而在1处，则引用图像。

  关于此部分可见后文：其他附加功能模型的作用。

回过头来理解#

原理是基于随机游走算法的一种流行的启发式搜索方法，它通过模拟分子在溶液中的运动来产生结果。它的原理如下：

1. 首先，根据所给的搜索问题的输入，将目标函数的可能的取值范围限制在某一区域内；

2. 然后，从该区域内的某一位置开始，对当前位置进行随机抽样；

3. 根据抽样结果，将当前位置向更优的位置或者更差的位置移动；

4. 然后，重复上述步骤，直到整个搜索空间中的最优解被搜索到；

5. 最后，返回最优解，即为搜索问题的最优解。

   stable diffusion与其他搜索策略的不同之处在于，它使用了“拥挤度”，也就是它使用了一种类似于分子的游走策略，允许一些探索性的搜索，而不是每次都向最优解移动，从而避免了陷入局部最优解的情况。

采样器#

采样器是什么？#

前面讲解了反向生成图片的原理，在每一步中都需要对空间附近进行随机采样，所以不同的采样器代表的采样方法略有不同，对整体以及最后生成的图片而言都有影响。

不同采样器效果分析#

网上的资料表示，常见的采样器有略微差别如下：

1. Euler a ：是个插画，tag利用率仅次与DPM2和DPM2 a，环境光效菜，构图有时很奇葩 。
2. Euler：柔和，也适合插画，环境细节与渲染好，背景模糊较深。
3. Heun：单次出图平均质量比Euler和Euler a高，但速度最慢，高step表现好。
4. DDIM:适合宽画，速度偏低，高step表现好，负面tag不够时发挥随意，环境光线与水汽效果好，写实不佳。
5. DPM2:该采样方法对tag的利用率最高，几乎占80％+。
6. DPM2 a：几乎与DPM2相同，对人物可能会有特写。
7. PLMS: 单次出图质量仅次于Heun。
8. LMS: 质感OA,饱和度与对比度偏低，更倾向于动画的风格。
9. LMS Karras：会大改成油画的风格，写实不佳。
10. DPM fast：此为上界开发者所遗留的测试工具，不适合魔术师使用。

源自

面部修复#

1. GFPGAN
2. CodeFormer(据官方说是前者的替代品)

放大算法#

放大算法对比

• nearest最近邻插值算法：

  插值算法：目标图像通过缩放系数，计算缩放后的坐标在原图像中的位置（x，y），计算离位置（x，y）周围的证书坐标点，并以此位置的颜色作为目标点的颜色。最近顾名思义取最近的点。

  算法简单，速度块，效果一般不好

• Lanczos插值算法：

  一种更高级的插值算法，通过计算某点周围不同像素点的权重得到输出。

  快，效果一般不好，比前者好一点

• ESRGAN

  基于GAN（生成对抗网络）

  引入了一个新网络结构单元RRDB；借鉴了相对生成对抗网络让判别器预测相对的真实度而不是绝对的值；还使用了激活前的具有更强监督信息的特征表达来约束感知损失函数。

  生成相对锐利

• R-ESRGAN

  Real-ESRGAN是对ESRGAN的增强，是由腾讯ARC实验室发布的一个盲图像超分辨率模型，有不同版本。

  生成相对平滑，效果不错

• R-ESRGAN 4x Anime6B

  前者针对动漫图像的版本

  效果很好

• BSRGAN

  针对真实图像退化的盲图像超分辨率模型。

  效果很好

• LDSR

  Latent Diffusion Super Resolution

  Stable diffusion基于的技术，也就是通过在一个潜在空间中迭代“去噪”，数据来生成图像，然后将表示结果解码为完整的图像。

  效果一般，生成慢，吃显存

• SwinIR

  基于Transformer的模型。包含三部分：浅层特征提取、深层特征提取、高质量图像重建。

  较平滑，效果很好

图片放大的三种渠道

1. 文生图里的hiersfix
2. 潜在放大
3. SD放大

SD放大原理：拆分成图块进行放大重绘再拼接回去。

自带的SD放大容易在接缝处产生重影。

解决：安装ultimate-upscaler插件。

步骤

• 打开图生图

• 缩放模式：拉伸

• 重绘幅度：推荐0.3~0.5

• 额外脚本：高阶SD放大

• 图片尺寸类型：Scale from image

• Type： Chess（棋盘状）

• 图块大小：基于SD1.x的选512，SD2.x选768

• 解封修复：除非有明显的解接缝，否则不用使用。如果使用了的话，最下面的第二个选框需要勾选。

BLIP可以逆向生成自然语言描述，deepbooru可以生成tags

骨骼绑定#

• ControlNet/models/control_sd15_openpose.pth

  ControlNet+SD1.5 模型，使用 OpenPose 姿势检测控制 SD。直接操纵姿势骨架也应该有效。

  摆出Pose

  用户可以输入一张姿势图片（推荐使用真人图片）作为AI绘画的参考图，输入prompt后，之后AI就可以依据此生成一副相同姿势的图片；当然了，用户可以直接输入一张姿势图，如下图：

  

  图一中，不同颜色的线段代表不同肢体部位，如手指，胳膊，腿部等等。

  精细控制手指

  twitter的viggo推主转发的推文图片表示，可以使用openpose结合建模软件如blender精细控制手部骨骼，并且在生成的图片上取得了出色的效果：

  

  

  多人照

  

精准控线#

• ControlNet/models/control_sd15_canny.pth

  ControlNet+SD1.5 模型，用于使用精明边缘检测来控制 SD。

  用户输入一张动漫图片作为参考，程序会对这个图片预加载出线稿图，之后再由AI对线稿进行精准绘制（细节复原能力强）

  

• ControlNet/models/control_sd15_hed.pth

  ControlNet+SD1.5 型号使用 HED 边缘检测（软边缘）控制 SD。

  相比canny自由发挥程度更高：

  

• ControlNet/models/control_sd15_mlsd.pth

  ControlNet+SD1.5模型使用M-LSD线检测来控制SD（也可以与传统的Hough变换一起使用）。

  适用于建筑物内容图像的线段识别。

  

• ControlNet/models/control_sd15_scribble.pth

  ControlNet+SD1.5模型使用人类涂鸦控制SD。该模型使用边界边缘进行训练，具有非常强大的数据增强功能，以模拟类似于人类绘制的边界线。

  涂鸦成图，比Canny自由发挥程度更高，以下为低权重成图。

  

• ControlNet/models/control_sd15_seg.pth

  ControlNet+SD1.5模型使用语义分割来控制SD。协议是ADE20k。

  区块标注，适合潦草草图上色：

  

三维制图#

• ControlNet/models/control_sd15_normal.pth

  ControlNet+SD1.5 模型使用法线贴图控制 SD。最好使用该 Gradio 应用程序生成的法线贴图。只要方向正确，其他法线贴图也可以工作（左边看红色，右边看蓝色，上看绿色，下看紫色）。

  适用于3维制图，用于法线贴图，立体效果

  AI会提取用户输入的图片中3D物体的法线向量，以法线为参考绘制出一副新图，此图与原图的光影效果完全相同。

  

• ControlNet/models/control_sd15_depth.pth

  ControlNet+SD1.5模型使用Midas深度估计来控制SD。

  该模型可以较好的掌握图片内的复杂3维结构层次，并将其复现，用来形成具有景深效果的图像。

  它会从用户输入的参考图中提取深度图，再依据此重现画面的结构层次。

  这也就说明了我们可以直接通过3D建模软件直接搭建出一个简单的场景，再将其抛给AI绘画”Depth”模型去”渲染” 。

  

  

ControlNet插件包括两个部分：预处理器和模型。

输入图像通过预处理器处理后得到中间状态，入上文的骨架图，深度信息图等等，然后输入到模型中再进行相应的生成和输出。所以如果已有模式图或者草稿，那就可以不选择预处理器。

CN最常用的是canny用来为线稿上色；openpose模型用来提取骨架生成新的图像，可以不用为期望姿势费劲心思构建prompt，你可以通过制定的照片来让你生成的图片摆出和照片中人物相同的姿势，也可以用来精细控制手部解决之前的手指残缺/多指问题。

ControlNet 1.1#

项目地址 规则命名。

• control_v11p_sd15_canny
• control_v11p_sd15_mlsd
• control_v11f1p_sd15_depth
• control_v11p_sd15_normalbae
• control_v11p_sd15_seg
• control_v11p_sd15_inpaint
• control_v11p_sd15_lineart
• control_v11p_sd15s2_lineart_anime
• control_v11p_sd15_openpose
• control_v11p_sd15_scribble
• control_v11p_sd15_softedge
• control_v11e_sd15_shuffle
• control_v11e_sd15_ip2p
• control_v11u_sd15_tile

Openpose Edit#

controlnet骨骼openpose编辑插件，可以手动生成一个目标骨骼图，支持多人，自定义分辨率，人物动作，一键导出等。

注：ffmpeg错误已于3.6日修复。

Deforum#

使用关键帧描述等，使用图片作为帧生成视频（因为帧数低或是图片差异的原因，看起来更像是GIF）。

一些基本参数：

Keyframes(关键帧设置)

画面设置 animation_mode(动画模式):有三种模式可以选择，一是2D，二是3D，三是Video Input(使用输入的视频生成)[教程是基于NovelAI2D动画，所以后面的动画在这里都是设置的2D]

max_frames(最大帧数):帧数越大时间越长，但记得和后面设置中的fps(每秒帧数)成倍数关系。

border(边界):有两种模式可以选择，一是wrap(包)，二是replicate(复制)。

angle(画面旋转):以0为不动，大于0->逆时针旋转，小于0->顺时针旋转。

zoom(画面前后移动(深度)):以1为不动，大于1->向里/向内移动，小于1->向外移动。

（这里提一点官方默认设置中的0.98+0.02sin(23.14*t/20)是一个根据时间变量t自动控制移动速度的函数，会使移动先快后慢再快进行循环）

translation_x(沿X轴方向的变化(横向)):以0为不动，大于0->向左移动，小于0->向右移动。

translation_y(沿Y轴方向的变化(纵向)):以0为不动，大于0->向上移动，小于0->向下移动。

Prompts(关键词设置)

单帧控制

json格式：

“n”:“prompts”

n为某一帧，prompts为关键词

例子：

1
{"0": "{best quality}, {{masterpiece}}, {highres}, {an extremely delicate and beautiful}, original, extremely detailed wallpaper, one Fox Girl,{{{Nine fox tails}}},Small ear,Long hair, white hair,Witch dress,looking_at_viewer,full body,petals,long_hair,cherry_blossoms,green_eyes,blonde_hair,wide_sleeves,smile,animal_ears,falling_petals,long_sleeves,sheathed --neg NSFW, lowres,bad anatomy,bad hands, text, error, missing fingers,extra digit, fewer digits, cropped, worstquality, low quality, normal quality,jpegartifacts,signature, watermark, username,blurry,bad feet"}

多帧控制

你可以通过下方的方法来设置某些帧的关键词。

json格式：

“n”:“prompts”

n为某一帧，prompts为关键词，多帧的不同在于有多个帧描述且每一帧的描述都是通过,来分开。

例子：

1
{
2
  "0": "Apple",
3
  "30": "Banana"
4
}

Video output

fps

帧数，一般12～15最佳。

根据视频生成视频的两种方式#

ControlNet M2M#

需要在设置中的ControlNet栏的允许其他脚本对此扩展插件进行控制一项☑️。

作用于文生图。传入一段视频，对视频的帧进行处理。一般使用openpose和HED结合使用。生成出来的每一帧图片可以在outputs/txt2img文件夹中进行查看。进行完处理之后再将图片重新合成视频。

原视频30fps10s，那么生成300张图片。

参数duration: 生成的GIF的帧率。例如为10，则生成30s的GIF。

限制：M2M需要对关键词进行诸多的限制，在背景和镜头固定的视频上的作用最佳，并且最好要结合Lora使用。Lora要用人物确定，具有唯一辨识度的，不要有多套形象。

Mov2Mov#

github地址：https://github.com/Scholar01/sd-webui-mov2mov.git

作用于图生图。传入一段视频，对视频的帧进行处理，把每一帧放入图生图，结合描述词重绘，重绘幅度需要设置低一点，一般在0.3～0.5。

也可以结合ControlNet使用，不过因为重绘幅度低，ContorlNet在整个流程中的作用并不会太大。

限制：需要和原图相关就必须要设置低重绘幅度，但是想要改变物体样式（如人物服装）或肢体动作，低重绘幅度就会使得前面不起作用。

原理：绝对必看的一个视频#

【轻科普】StableDiffusion那些事儿，关于LoRA、DreamBooth、模型分层融合等

训练分类与过程#

自带的训练

可以训练超网络和Embeddings

详细视频可见：stable diffusion训练embedding和hypernetwork详解

官方wiki：https://github.com/AUTOMATIC1111/stable-diffusion-webui/wiki/Textual-Inversion

Embeddings

最初的一种训练模型，训练subject比较可以，训练style的话可以被超网络代替。

1. 输入一个你的目标描绘词如my_girl（加下划线是 要与已有的词避免重复）

2. 输入一个基本词，基于这个附近。例如girl。

3. 选择用来训练的图片，一般512x512分辨率。

   https://www.birme.net/网站可以剪切图片，不过新版的SDwebui已经有了裁剪和自动聚焦功能，笔者没有用SDwebui的。

4. 选择第一个选框和Use CLIP for caption选项，原理是分析图片逆向给图片生成标题，并且将my_girl嵌入进去。

   注意有自动加载同名VAE的话要暂时改名或者转移到别的目录去。

DreamBooth#

插件介绍用法