商洛免费做网站,网站建设一般报价,工程信息网哪个好,网站外链隐形框架是什么大家好#xff0c;我是每天分享AI应用的萤火君#xff01;
这篇文章的主题和美女有关#xff0c;不过并不是教大家生产美女视频#xff0c;而是讲解 ComfyUI 的图生图局部重绘#xff0c;其中将会以美女图片为例#xff0c;来展示局部重绘的强大威力。
先看看效果…大家好我是每天分享AI应用的萤火君
这篇文章的主题和美女有关不过并不是教大家生产美女视频而是讲解 ComfyUI 的图生图局部重绘其中将会以美女图片为例来展示局部重绘的强大威力。
先看看效果 ComfyUI是什么
在AI绘画领域Stable Diffusion 因其开源特性而受到广泛的关注和支持背后聚拢了一大批的应用开发者和艺术创作者是AI绘画领域当之无愧的王者。
目前使用 Stable Diffusion 进行创作的工具主要有两个Stable Diffusion WebUI 和 ComfyUI。
Stable Diffusion WebUI 开箱即用基本功能齐全社区也有很多的插件支持入门比较简单适合新手但是可定制性稍微差点很多作品不容易传播复现使用API进行操作也有一定的难度。
ComfyUI 虽然出来的晚一点但是它的可定制性很强可以让创作者搞出各种新奇的玩意通过工作流的方式也可以实现更高的自动化水平创作方法更容易传播复现发展势头特别迅猛。从解放生产力以及工业化批量生产的角度看ComfyUI 具备更广阔的应用前景。
但是 ComfyUI 的上手门槛有点高对 Stable Diffusion 以及各种扩展能力的原理需要有一定的理解动手能力要求也比较高。为了让 ComfyUI 走进千家万户从这篇文章开始我将开始介绍一些 ComfyUI 的概念和使用方法让大家更快的掌握 ComfyUI 的使用技巧创作出自己独特的艺术作品。
如何安装 ComfyUI
本地或手动安装
本系列的第一篇文章中已经详细的介绍过安装步骤需要的同学请点此前往ComfyUI 完全入门安装部署
云环境使用
如果你的电脑没有配置高性能的Nvidia显卡我建议你可以先在云环境试试推荐两个云平台
京东云京东云最近大举进入AIGC领域新上了AI服务器价格十分美丽目前4090每小时1.89最重要的是还可以领取2个小时的代金券领取方式见文末。为了让大家在京东云尽快跑起来萤火君也正在制作相应的 ComfyUI 镜像内置常见模型和插件敬请关注。
智算服务的地址智算服务-京东云 AutoDLAutoDL是一个云计算平台提供多种显卡服务器租用服务可按小时付1-2元左右显卡价格相比阿里云、腾讯云有明显的优势我一直在用推荐本地硬件性能不足的同学试试。
镜像地址CodeWithGPU | 能复现才是好算法
镜像使用方法打开镜像页面点击右下角的“AutoDL创建实例”按照使用说明操作即可。 ComfyUI局部重绘
基本重绘方法
我们先来看一个最简单的局部重绘示例在这个示例中我将在姑娘左边的地板上增加了一条黄色的小狗。工作流下载见文末。 加载重绘图片
从左向右看最左边是加载需要做局部重绘的图片并在图片中添加一个遮罩遮罩的区域内将绘制一条小狗。这个部分包括4个节点我分别介绍下 加载图像从文件夹选择一张图片或者上传一张图片。然后我们在图片上点击右键在弹出的菜单中继续点击“在遮罩编辑器中打开”在打开的页面中我们就可以绘制遮罩了完成绘制点击右下角的“Save to node”就可以了操作如下图所示 VAE编码图片要进行重绘还是要走扩散模型的基本流程这里需要使用VAE模型将图片编码到潜空间。
遮罩羽化让遮罩部分生成的内容和图片的其它部分融合的更好一些不那么突兀。
遮罩平滑我们手动操作可能比较毛糙让遮罩的编码更加平滑。
设置Laten滤波遮罩给潜空间中的遮罩区域增加噪音这样可以让生成的内容和图片融合的更好些。
设置SD参数
然后我们还要设置Stable Diffusion的基本参数包括
加载SD基础模型可以使用所有的SD基础模型SD1.5、SDXL都可以。
填写提示词和反向提示词描述要重绘的内容不想出现的内容等。
设置采样器常用的K采样器即可所有参数都是用默认设置即可。
最终保存图像可以设置一个文件名前缀。 然后就可以“添加提示词队列”去生成图片了。
使用ControlNet精细重绘
终于到了更换丝袜的环节了。因为我们只是想要更换丝袜的颜色腿形啥的都不想有大的改变这就需要更为精细的控制可以通过引入 ControlNet 达到这个目的。
Canny控制网
我们先使用 Canny 控制网来进行处理Canny 是一个线稿模型它可以控制图片按照线稿的约束进行生成效果不错。工作流的其它部分基本不用改变我们只需要增加 ControlNet 的部分并把这些节点添加到工作流中。这里主要介绍下ControlNet的部分完整的工作流请在文末获取看下面这张图 先看左边三个节点
Canny细致线预处理器器从要重绘的图片中提取线稿图这里边有个分辨率的参数需要设置为图片最小边的像素值所以引入了“数学表达式”和“图像信息”两个节点。图像信息提取要重绘图片的宽度和高度。数学表达式获取图片宽度和高度的最小值。
再看右边两个节点
DiffControlNet加载器用来加载ControlNet模型注意模型要和预处理器匹配。ControlNet应用用来定义一个ControlNet节点其中的强度、开始时间和结束时间是用来控制 ControlNet 参数图片生成的影响力的开始时间和结束时间的取值范围是0-1代表在采样过程中的介入时机。
另外需要注意的是遮罩的绘制和提示词的编写
先看遮罩的绘制因为只是更改丝袜的颜色我们这里需要只把腿覆盖上其它部分尽量不要覆盖以免出图效果不好。 再看提示词我们需要在提示词中描述丝袜的颜色、质地等特征。
最后还是点击“添加提示词队列”去生成图片。
Tile控制网
另外我也做了一个Tile控制网的工作流Tile的主要能力是细节完善修改颜色比较困难但是也能把丝袜处理的更好看一些所以还是简单介绍下。
这里也需要一个预处理器Tile平铺预处理器它主要是把图片变模糊。这里的分辨率我没有自动计算直接设置为了图片最小边的长度你生成图片的时候请注意修改。
其它ControlNet模型的选择就没什么好说的了工作流下载还是见文末。 资源分享
工作流请给公众号“萤火遛AI”发消息局部重绘即可获取。
京东云代金券请V yinghuojun007 领取。 以上就是本文的主要内容。
用好 ComfyUI
首先需要对 Stable Diffusion 的基本概念有清晰的理解熟悉 ComfyUI 的基本使用方式然后需要在实践过程中不断尝试、不断加深理解逐步掌握各类节点的能力和使用方法提升综合运用各类节点进行创作的能力。
我将在后续文章中持续输出 ComfyUI 的相关知识和热门作品的工作流帮助大家更快的掌握 Stable Diffusion创作出满足自己需求的高质量作品感兴趣的同学请及时关注。
另外我还创建了一个AI绘画专栏可以零门槛全面系统的学习 Stable Diffusion 创作让创作灵感轻松落地如有需要请点击此处进入。
