形容网站页面做的好的词语,移动端快速建站,成都百度推广联系方式,百度网站搜索排名目前 Stable diffusion 中用到主要有四种模型#xff0c;分别是 Textual Inversion #xff08;TI#xff09;以 Embeddings 为训练结果的模型、Hypernetwork 超网络模型、LoRA#xff08;包括 LoRA 的变体 LyCORIS#xff09;模型、Dreambooth 模型。
视频博主 koiboi 用…目前 Stable diffusion 中用到主要有四种模型分别是 Textual Inversion TI以 Embeddings 为训练结果的模型、Hypernetwork 超网络模型、LoRA包括 LoRA 的变体 LyCORIS模型、Dreambooth 模型。
视频博主 koiboi 用图 形拓扑图来讲解了这四种 SD 模型的异同并配有全程的视频讲解koiboi 对四大SD模型的视频讲解。 看完这个视频非专业技术人员也可以对 SD 的四种微调模型的原理有所了解。虽然这并不算什么深入详细解剖的论文级别的讲解但足够形象生动易懂。如果你还想更深入更地了解四种模型的细节可以详细阅览每一种模型的详细介绍分别在下面四篇文章链接中
Textual Inversion Embeddings网络与模型请查看此篇7号床Stable Diffusion 模型——Textual InversionTI文本翻转和 Embedding 嵌入Hypernetwork 超网络与模型请查看此篇7号床Stable Diffusion 模型——Hypernetwork 超网络LoRA 与 LyCORIS 网络与模型请查看此篇7号床Stable Diffusion 模型——LoRA 模型Dreambooth 网络与模型请查看此篇7号床Stable Diffusion 模型——Dreambooth 模型
注关于这四种模型的详细训练方法和参数等细节可以在各文章中查看对应的链接。
有关Stable Diffusion的详细讲解请查看此篇Stable Diffusion 稳定扩散模型最详细解释
以下是对 koiboi 视频中四个模型的简要介绍
1. Textual Inversion TIEmbeddings 图1
首先看这样一个提示词“A photo of SKS.”。
作者希望在给 SD 输入这样的提示词时运用训练的模型可以产生一只特殊的柯基犬的形象这只柯基犬名叫“SKS”。
所以他首先需要训练这个柯基犬形象的模型于是他给这个模型起一个特殊的名字 “SKS”。“SKS” 既是这个模型的名称也是这个模型在作图过程中的关键词或称触发词 trigger word 。
注起“SKS”这样奇特的名字是有意义的这是为了和其他通用词汇的名字区分开来以免发生”语言漂移“Language Drift即模型在生图过程中分不清你的意图到底是要生成这个特殊的柯基犬造型还是要生成一只半自动步枪。可是”SKS“为半自动步枪的意思不知道他为啥要起这个名字或许这就是他家柯基犬的真实名字吧。所以其实选择”SKS“这个名称并不明智虽然它看起来很生僻但是仍然没有避开”半自动步枪”的意思。要找到独特的名称其实不难比如“Skkkk”。所以当你起这个特殊名字之前最好在搜索引擎中查查看。
训练过程
训练过程按照 koiboi 提供的拓扑图1 中的描述是这样的。
首先用这只柯基犬的照片若干张作为训练图像图1 中 training sample 生成含有某个强度级别噪点含量的噪点图图1 中 apply noise * n 同时生成含有某个强度低一级的噪点含量的噪点图图1 中 apply noise * (n-1) 然后把步骤 1 中的含有 n 级别噪点的噪点图和关键词“SKS”一同输入给 Diffusion Model 让 Diffusion Model 进行去噪点操作得到一个从 n 级别去除一定噪点到 n-1 级别的相对少一些噪点的图像图1 中 Diffusion Model 模块右侧的柯基犬图然后把步骤 3 生成的 n-1 级别图像和步骤 2 生成的 n-1 级别图进行比较生成一个 loss 损失即差异化描述。注起初由于 text embedding 模块并不清楚 SKS 具体指的是这种特殊的柯基犬所以会随机生成各种输出的结果即某种随机的向量。这样的向量作为输入给 Diffusion Model 模块自然导致 Diffusion Model 模块输出的 n-1 噪点级别的图像与步骤 2 中产生的 n-1 噪点级别的图像极为不像。但这便是训练开始的第一步之后系统会逐渐自动调整参数以使得这两个图像越来越相近这便是所有模型训练的基本逻辑。系统自动调整参数的过程是这样的系统把这个 loss 通过 Gradient Update 的方式反馈给 text embedding 模块以期该模块能够根据这个差异 loss 校正针对“SKS”的输出。这样当校正后的“SKS”的输出再次输入给中间的 Diffusion Model 模块后能够使得 Diffusion Model 输出 n-1 图像能够和步骤 2 中生成的 n-1 图像更接近。以上过程反复多次后text embedding 模块会逐渐地学会如何正确地解析“SKS”这个特殊词汇以便在 text embedding 模块在输出“SKS”所代表的向量输入给 Diffusion Model 模块后Diffusion Model 模块可以生成一个与步骤 2 提供的 n-1 图像极为相似的图像。至此text embedding 的训练过程就结束了。
这样的训练过程便称为 Textual Inversion如果直译的话为“文本翻转”缩写为TI。一般以 embeddings 即 TI 的训练结果为这种模型的称呼。。
训练后产生一个 embeddings 模型文件。在实际生图阶段需要加载这个 embeddings 模型文件该文件会对 SD 系统中 text embedding 模块产生一个类似插件的影响图1 中 text embedding 模块的橙色部分。当输入给 SD 系统提示词“A photo of SKS.” 后 text embedding 模块便解析出了特殊的 “SKS”向量给 Diffusion Model 模块从而生成出我们想要的特殊的柯基犬图像。
2. Hypernetwork 图2
Hypernetwork 的总体训练思路同 Textual Inversion 是接近的只是此时 loss 通过 Gradient Update 反馈的目标发生了变化从 text embedding 模块转变成了一个单独的附加的小神经网络 Hypernetwork这个小的神经网络一般译为“超网络”图2 中橙色虚线方框即为这个小神经网络。
这个 Hypernetwork 超网络劫持了 Diffusion Model 模块中的三个矩阵图2 中三个菱形块具体来说是 U-Net 噪声预测器中的交叉注意层之前的 Q、K、V 三矩阵中的 K 和 V 矩阵并修改了数据使得 Diffusion Model 模块生图时发生变化。
注有关注意力层的 Q、K、V 三矩阵是一个十分有意思的知识点这个知识点也是目前最火爆的 GPT 的核心 Transformer 大模型的灵魂所在。所以感兴趣的可以去单独了解推荐此篇Q、K、V 与 Multi-Head Attention 多头注意力机制。
Hypernetwork 模型训练结束后会生成一个 Hypernetwork 模型图2 中橙色虚线方框。在实际生图阶段需要加载这个 Hypernetwork 模型并在提示词中用专门的提示词公式来表达这一模型要发挥作用于是该模型就会对 SD 系统中 Diffusion Model 模块在生图时产生一个劫持并修改数据的效应这样的劫持修改使得 Diffusion Model 模块生图时发生变化从而能够让 SD 生成出我们想要的特殊的柯基犬图像。
3. LoRA 图3
LoRA 的总体训练思路同 Textual Inversion 和 Hypernetwork 都是接近的其实这一训练框架与生图框架本身就是 SD 的核心架构各种模型训练只是在利用这一架构中各个可以微调的环节来进行某些类似插件效应的改变而已。只是此时 loss 通过 Gradient Update 反馈的目标落在了 Diffusion Model 模块中 Q、K、V 三个矩阵本身的身上。
与 Hypernetwork 劫持并修改 Q、K、V 三矩阵输入数据的方式不同LoRA 是直接生成属于自己风格的 Q、K、V 三矩阵作为模型图3 中三个橙色菱形作为对原有模型中 Q、K、V 的叠加也可以理解为原有 Diffusion Model 模块中 Q、K、V 三矩阵的额外“插件”。
这三个橙色菱形“插件”所组成的模型文件便是 LoRA 的模型文件了。在实际生图过程中需要加载这个 LoRA 模型文件并用专门的提示词公式来表达这一模型要发挥作用。于是便能影响 SD 模型的整体输出生成我们想要的独特柯基犬图像了。
LyCROIS英文全称 LoRA beyond Conventional methods, Other Rank adaptation Implementations for Stable diffusion. 可以翻译为用另一种超越常规的 Rankadaptation “秩自适应”的方法来实现 SD 稳定扩散。可以说 LyCORIS 是 LoRA 的思路的进一步扩展是升级换代的 LoRA通常比 LoRA 更有表现力可以捕捉更多的训练图像的细节。LyCORIS 属于一系列类 LoRA 方法的总称目前至少分为以下几种Standard、LyCROIS/LoKr、LyCROIS/LoHa、LyCROIS/LoCon、LyCROIS/iA3、LyCROIS/DyLoRA、LoRA-FA。
4. Dreambooth 图4
同样Dreambooth 的总体训练思路接近以上三个模型的总体架构只是 loss 通过 Gradient Update 反馈的目标直接落在了 Diffusion Model 模块本身。要知道 Diffusion Model 模块是 SD 的最核心部分也是最主体部分。 loss 通过 Gradient Update 直接作用在这里则导致 Diffusion Model 模块中数以亿计的参数发生微调以适应新的特征独特柯基犬特征。很明显这样的训练方式将耗费大量的算力资源生成出的模型相当于 Diffusion Model 基础模型的变种文件即为 Dreambooth 模型文件文件体积也很大通常在 2G 到 5G 左右。但也由于直接在基础模型上微调所以导致 Dreambooth 模型在 SD 生图过程中的输出效果很细腻很高效。
在实际生图过程中需要加载这个 Dreambooth 模型文件无需要额外在提示词中描述这个模型文件的特殊提示词系统会按照基础大模型文件同样的待遇来进行生图。
总结
最后为了方便区分四种训模型以及 SD 基础大模型之间的不同属性我特地做了下面的表格 SD基础大模型与微调模型原创图标转载请注明出处谢谢
其中最主流的模型训练方式为 Dreambooth 和 LoRA以及 LoRA 的变体 LyCORIS。就训练时间与实用度而言平均打分为 Dreambooth LoRA HyperNetwork Embedding。Checkpoint 模型、Embeddings 模型、LoRA 模型较受欢迎Hypernetworks 模型则有被淘汰的趋势。
这里还有模型训练方面其他一些需要考量的因素
如果你有成千上万张图片的训练集并且希望得到更精确的模型微调而且你并不拘泥于某一种具体的人物风格、画风等等Dreambooth 仍然是最好的选择。在四类模型中Dreambooth 是对模型本身变动最大的。它可以被理解为基础模型和 LoRA 模型的合体它改变了基础模型的部分权重并将新的内容权重添加其中同时又保留了基础模型中的那些未被变动过的部分所以最终导致它的模型文件体积比较大。可以用几个 LoRA 一同使用这样就可以不局限于某一个 LoRA 只关注某一个具体的风格和角色了。Hypernetworks 和 LoRA 基本上都是来源于同一篇研究论文。但 Hypernetworks 超网络基本上算是过时的老旧 Alpha 测试版本而 LoRA 算是成型的如今最流行的版本。相对于 Dreambooth 来说Hypernetworks 和 LoRA 都很小并且它们只是在原有模型基础上进行了某种插件式的变动以达到效果所以它们都无法单独使用。Base Model 基础的大模型也可以称作 Full Models 因为这个模型中包含了 SD 种的所有参数所以称为“Full”。比如 SDXL 基础大模型文件名 sd_xl_base_1.0.safetensors 。这种是从 0 开始学习起来的不需要依赖任何其他模型而完全从海量的训练集中耗费了大量的算力资源与时间训练出来的大模型。这种模型很明显不是普通人或普通机构可以支撑起来的。通常数据集都是以亿为单位一次训练费用动辄百万美金起步但它是模型金字塔的底层基座。在模型训练过程中如果您将“混合精度”和“保存精度”设置错误则可能会遇到“ValueError: bf16 mixed precision requires PyTorch 1.10 and a supported device”报错。此设置与软件中的浮点格式数值有关。如果您遇到这个错误这很可能意味着在没有能够支持的 GPU 的情况下错误地设置了 bf16 浮点格式。如果是这种情况将“混合精度”和“保存精度”都设置为 fp16然后再次启动训练过程。详细训练内容和方法参数等请参考本文中所列的四种模型各自的介绍。
对于很多刚学习AI绘画的小伙伴而言想要提升、学习新技能往往是自己摸索成长不成体系的学习效果低效漫长且无助。
如果你苦于没有一份Lora模型训练学习系统完整的学习资料这份网易的《Stable Diffusion LoRA模型训练指南》电子书尽管拿去好了。
包知识脉络 诸多细节。节省大家在网上搜索资料的时间来学习也可以分享给身边好友一起学习。 由于内容过多下面以截图展示目录及部分内容完整文档领取方式点击下方微信卡片即可免费获取 篇幅有限这里就不一一展示了有需要的朋友可以点击下方的卡片进行领取
