晋江 网站建设 推广,句容网站设计公司,网站规划与建设参考文献,删除hao123主页✨ 目录 #x1f388; 模型种类#x1f388; 变分自动编码器 / VAE#x1f388; 美学梯度 / Aesthetic Gradients#x1f388; 大型语言模型的低阶自适应 / LoRA#x1f388; 超网络模型 / Hypernetwork#x1f388; 微调模型 / LyCORIS #x1f388; 模型种类
当你打开… ✨ 目录 模型种类 变分自动编码器 / VAE 美学梯度 / Aesthetic Gradients 大型语言模型的低阶自适应 / LoRA 超网络模型 / Hypernetwork 微调模型 / LyCORIS 模型种类
当你打开模型网站C站后你可以看到右上角筛选里面有很多不同种类的模型包括Checkpoint、Textual Inversion、Hypernetwork、VAE、Lora、LyCORIS、Aesthetic Gradients等等其中 Checkpoint 是主模型所以体积会很大因为要基于大模型参数的训练所以最开始诞生的就是主模型你可以把它当作其他模型的主体因为体积太大导致在处理各种细节的时候准确度其实是不够的比如我要调图片的饱和度给图片添加不同的滤镜所以对于细节的处理出现了各种衍生出来的小模型比如上一篇我们讲解的 Embedding 模型它就是负责文本理解的模块上手非常容易但是效果却非常的不错逐渐被用户接受因此相继出现了其他的模型 变分自动编码器 / VAE
这个其实就是在主模型基础上做图片微调的比如大家经常使用的滤镜以及处理图片的饱和度所以这类模型比较少主要是一些主流的修图软件已经可以实现这些功能用起来门槛更低首先默认操作界面上是没有 VAE 选项的需要手动开启点击设置 Setting ► 点击用户界面 User Interface ► 找到快捷设置列表 Quicksettings list ► 输入框添加 ,sd_vae,CLIP_stop_at_last_layers ► 点击应用设置 Apply settings ► 点击重启UI界面 Reload UI即可看到 VAE 选项卡 下载 vae 模型后将其放置在 models/VAE 目录下当然你可以从C站上面下载也可以从 huggingface 上面下载一些常见的 VAE 下载地址https://huggingface.co/stabilityai/sd-vae-ft-mse-original/resolve/main/vae-ft-mse-840000-ema-pruned.ckpthttps://huggingface.co/AIARTCHAN/aichan_blend/resolve/main/vae/Anything-V3.0.vae.safetensorshttps://huggingface.co/AIARTCHAN/aichan_blend/resolve/main/vae/Berrys%20Mix.vae.safetensors下载好然后点击 VAE 设置项右边的刷新按钮就可以看到这些模型 可以使用 X/Y/Z plot 脚本对比一下加和不加 VAE 的一个对比情况 美学梯度 / Aesthetic Gradients
这个模型主要是通过一张或者几张参考图生成一个美学模型最终对提示词进行调整和加权项目地址是https://github.com/vicgalle/stable-diffusion-aesthetic-gradients其中 aesthetic_embeddings 目录下有一些准备好的 Embedding如果你想使用它需要安装扩展https://github.com/AUTOMATIC1111/stable-diffusion-webui-aesthetic-gradients安装好这个扩展后就可以在 Aesthetic imgs embedding 里面选择对应的 Embedding但是现在这个美学梯度已经属于落后的模型方式了效果相对其他方案而言已经没有了任何优势现在算是大势已去 大型语言模型的低阶自适应 / LoRA
这个模型主要是通过矩阵分解的方式微调少量参数并加总在整体参数上所以它现在主要用来控制很多特定场景的内容生成LoRA 模型下载后需要放置在 models\lora 目录下对比下不用 LoRA 和用 LoRA 的区别 超网络模型 / Hypernetwork
主要是让梯度作用于模型的扩散 Diffusion 过程。扩散过程中的每一步都通过一个额外的小网络来调整去噪过程的结果功能和embedding、lora类似都是对生成的图片进行针对性地调整hypernetwork 的应用领域较窄主要是训练画风训练难度很大未来很有可能被后出现的 lora 所替代新手可以将 hypernetwork 理解为低配版的 lorahypernetwork 最重要也是实现最好的功能是对画面风格的转换也就是切换不同的画风模型下载后需要放在 models\hypernetworks 目录下主要使用方式是在 prompt 中使用嵌入语法 hypernet:felt:1我这里使用的是毛毡风格画https://civitai.com/models/68942/felt 微调模型 / LyCORIS
这是最近开始流行的一种新的模型如其名字是一种超越传统方法的 Lora但是要比 LoRA 能够微调的层级多它的前身是 LoCon (LoRA for convolution layer)LyCORIS 模型可以放在 lora 的目录下当做普通的 lora 使用但无法使用丰富的细节参数如果需要使用更多的参数需要安装扩展https://github.com/KohakuBlueleaf/a1111-sd-webui-lycoris安装过 LyCORIS 插件后将 LyCORIS 模型下载后拷贝至 models\LyCORIS比如我们使用C站很火的胶片风模型https://civitai.com/models/33208/filmgirl-film-grain-lora-and-loha使用语法lyco:LoRA名称:1:0.5:13可以通过 script 中的 prompt matrix 功能可以查看加和不加 lyco 的区别
# prompt
young 1girl with braided hair and fluffy cat ears, dressed in Off-Shoulder Sundress, standing in a rustic farm setting. She has a soft, gentle smile, expressive eyes and sexy cleavage. The background features a charming barn, fields of golden wheat, and a clear blue sky. The composition should be bathed in the warm, golden hour light, with a gentle depth of field and soft bokeh to accentuate the pastoral serenity. Capture the image as if it were taken on an old-school 35mm film for added charm, looking at viewer, ||lora:Velvia1:0.6# negative prompt
cartoon, anime, sketches,(worst quality, low quality), (deformed, distorted, disfigured), (bad eyes, wrong lips, weird mouth, bad teeth, mutated hands and fingers:1.2), bad anatomy, wrong anatomy, amputation, extra limb, missing limb, floating limbs, disconnected limbs, mutation, ugly, disgusting, (bad_pictures, negative_hand-neg:1.2)
