河北网站备案手机号码短信核验,网站的建设任务,备案空壳网站通知,那位学生网站开发我们前期介绍了黑森林实验室发布的 Flux.1 文生图大模型#xff0c;其模型是一个扩散模型。扩散模型通过迭代细化噪声图像来生成最终图像。这种去噪过程使扩散模型能够创建更连贯、更逼真的图像#xff0c;因为扩散是一个多步骤过程#xff0c;这与 GAN#xff08;生成对抗… 我们前期介绍了黑森林实验室发布的 Flux.1 文生图大模型其模型是一个扩散模型。扩散模型通过迭代细化噪声图像来生成最终图像。这种去噪过程使扩散模型能够创建更连贯、更逼真的图像因为扩散是一个多步骤过程这与 GAN生成对抗网络或 VAE变分自动编码器等以前的生成模型不同。Flux AI 图像生成模型通过引入流匹配和时间戳采样等概念对这种方法进行了重大改进提供了一组独特的功能可提高图像质量和生成速度。 FLUX.1 发布了多个版本Flux 1.1 Pro UltraFLUX.1 [pro]、FLUX.1 [dev] 和 FLUX.1 [schnell]以及应用于图片编辑的FLUX.1 FillFLUX.1 DepthFLUX.1 CannyFLUX.1 Redux。
Flux 1.1 Pro Ultra Flux1.1 Pro 是 Black Forest Labs 提供的旗舰型号。它旨在创建高分辨率图像非常适合需要精细细节和清晰视觉效果的任务。此版本针对图像清晰度和精度至关重要的场景进行了优化例如广告、印刷媒体以及艺术图片等。
Flux .1 ProFlux.1 Pro 是一款高性能模型它针对更广泛的专业应用进行了优化这些应用对极端细节和分辨率的要求并不像艺术图片等领域那么严格。这两款专业模型都只能通过其 API 使用权重托管在 Replicate、Fal AI 和 Mystic AI 等平台上。 Flux .1 DevFLUX.1 [dev] 是一种开放权重的模型适用于非商业应用。FLUX.1 [dev] 直接从 FLUX.1 [pro] 提炼而来具有相似的质量和及时处理能力同时比同等大小的标准模型更高效。FLUX.1 [dev] 权重可在HuggingFace上使用并可直接在Replicate或Fal.ai上使用。
Flux .1 Schnell此变体模型是所有其他变体中速度最快的与 Flux.1 Dev 模型类似Flux.1 Schnell 模型也是开源的可在 HuggingFace 上根据 Apache 2.0 获得许可。对于那些想要在本地机器上执行生成式 AI 图片的人来说它可以使用最快的速度以及最少的硬件资源来实现。 虽然是开源模型但是 pro 版本的模型需要使用黑森林实验室的 API 使用其模型权重并没有开放但是大家可以使用 dev版本的模型进行代码实现其代码也是开源代码也可以直接使用 hugging face 的库进行实现其代码如下:
from diffusers import FluxPipeline
pipe FluxPipeline.from_pretrained(black-forest-labs/FLUX.1-dev, torch_dtype torch.bfloat16)
pipe.to(cuda)
prompt 这里添加图片的描述信息
image pipe(prompt,height1024,width1024,guidance_scale1.0,num_inference_steps30,max_sequence_length512,generatortorch.Generator(cpu).manual_seed(0)
).images[0]
image.save(flux-dev.png) 这里使用 flux 的文生图模型来设计音乐播放器或者其他 UI 设计界面还是比较容易实现的当然黑森林实验室也发布了 flux tools 工具来进行图片的 Ps 操作话说使用AI 进行 PS 简直不要太爽。 FLUX.1 FillFLUX.1 DepthFLUX.1 CannyFLUX.1 Redux四个模型主要用于图片的编辑工作。
FLUX.1 fill最先进的修复模型可以根据文本描述和二进制掩码编辑或者扩展输入图像以便生成最终的图像。超越了现有工具如 Ideogram 2.0和其他开源模型如 AlimamaCreative 的 FLUX-Controlnet-Inpainting。FLUX.1 fill允许无缝编辑与现有图像自然融合效果出色。 其模型支持局部绘画并支持图片的扩展功能大白话就是输入一个局部的图片模型自动补充其他地方的图片以便生成完整的图像。 FLUX.1 Depth根据从输入图像和文本提示中提取深度图训练模型以实现结构化图片的输出。
FLUX.1 Canny经过训练的模型可根据从输入图像和文本提示中提取图片的 Canny 边缘以便实现结构引导。
通过以上 2 个模型可以实现通过边缘或深度图保留原始图像的结构用户可以进行文本引导编辑同时保持核心构图的完整。 FLUX.1 Redux允许根据输入图像和文本提示重新创建新的图片当然图片主体不会进行大的 变化。也可以根据输入文本提示进行图片主体位置的调整以及方向方位的调整等。其生成的图片与输入图片类似更新处不是太明显 其几个 tools 工具模型也是开源的模型可以直接在 GitHub 上面找到也可以使用 hugging face 的代码实现
pip install -U diffusers
import torch
from diffusers import FluxFillPipeline
from diffusers.utils import load_image
image load_image(cup.png)
mask load_image(cup_mask.png)
pipe FluxFillPipeline.from_pretrained(black-forest-labs/FLUX.1-Fill-dev, torch_dtypetorch.bfloat16).to(cuda)
image pipe(prompta white paper cup,imageimage,mask_imagemask,height1632,width1232,guidance_scale30,num_inference_steps50,max_sequence_length512,generatortorch.Generator(cpu).manual_seed(0)
).images[0]
image.save(fflux-fill-dev.png) https://github.com/black-forest-labs/flux
https://blackforestlabs.ai/announcing-black-forest-labs/
https://huggingface.co/black-forest-labs/FLUX.1-Fill-dev更多transformerVITswin tranformer
参考头条号人工智能研究所
v号启示AI科技动画详解transformer 在线教程
