网站开发与发布,岳阳seo官网,长春网站建设手机版,渠道网络随着科技的飞速发展#xff0c;我们迎来了视觉AIGC高光时刻#xff0c;一个充满无限可能与机遇的新时代。在这个时代里#xff0c;三大里程碑Dalle-3、Sora和Stable Diffusion 3以其炸裂式的技术发展#xff0c;引领着AIGC领域的新浪潮。文章首先做相应简要介绍#xff0c…随着科技的飞速发展我们迎来了视觉AIGC高光时刻一个充满无限可能与机遇的新时代。在这个时代里三大里程碑Dalle-3、Sora和Stable Diffusion 3以其炸裂式的技术发展引领着AIGC领域的新浪潮。文章首先做相应简要介绍后半部分着重做新兴技术拆解分析看看究竟哪些模块值得借鉴 Dalle-3在2023年9月以其强大的图像生成能力惊艳了世人。它从精细化的文本描述入手融合进了GPT-4的丰富caption能力另外还引入了早已验证成功了latent空间替代逐pixel的预测大幅提高了生成图像的质量和多样性。Dalle-3的出现极大地推动了视觉AIGC领域的发展为后续的效果创新奠定了坚实的基础。以下是官方样例 紧随其后的是2024年2月15的Sora它在通用视频生成领域取得了突破性的进展。Sora引入了先进的DiTs模块替换掉了UNET并且将视频处理成了Transformer结构中的visual patch极大的提升了视频生成的性能引发了业界广泛的关注。 压轴的是2024年2月22的Stable Diffusion 3即图像生成领域的最新SOTA。它引入了更为先进的扩散过程和噪声估计技术Flow Matching精细化的文本描述配合多模DiTs使得生成的图像更具指令跟随能力尤其在图像中文本控制的表现上刷新了新高度。Stable Diffusion 3的出现不仅提升了扩散模型在图像生成任务中的性能还为其他领域如自然语言处理、语音识别等提供了可借鉴的技术思路。以下是官方样例 这三大技术的崛起标志着视觉AIGC元年技术大爆炸的到来。它们不仅在各自领域内取得了卓越的成就还在相互融合中催生出更多新的应用场景和商业模式。未来随着技术的不断进步和创新我们有理由相信视觉AIGC将会为人类带来更多的惊喜和可能。
一、Dalle-3 论文题目Improving Image Generation with Better Captionshttps://cdn.openai.com/papers/dall-e-3.pdf
体验入口Bing AI - 搜索https://cn.bing.com/create
发布时间2023.9
亮点 1.精细化caption 论文着重宣传部分。caption生成模块使用了CLIPContrastive Language-Image Pretraining图像编码器和GPT语言模型GPT-4可为每张图像生成细致的文字描述。以下是用GPT-4生成更加精细化caption的例子
2.LDM diffusion 图像生成模块先用VAE将高分辨率图像压缩为低维向量降低学习难度然后使用T5 Transformer将文本编码为向量并通过GroupNorm层将其注入LDM diffusion模型而且像素级diffusion指导图像生成方向。与SDXL类似在潜空间进行diffusion是DALL-E 3比前两代生成的图片质量更好的核心原因之一。
二、Sora 论文题目Video generation models as world simulatorshttps://openai.com/research/video-generation-models-as-world-simulators
体验入口Video generation models as world simulators
发布时间2024.2.15
亮点 1.visual patch Sora将视频数据转换成Transformer大模型可以使用的tokens。这个过程涉及到将视频中的多帧图像进行深度学习压缩并加上第三维的时间信息形成patches。这些patches作为tokens可以应用于Transformer模型中。这种数据转换方式使得Sora能够处理和理解视频数据为后续的视频生成和处理打下基础。
2.diffusion transformerDiTs Sora运用扩散模型来处理视频生成的连续性和细节刻画问题而Transformer则用于理解并整合复杂的时空上下文信息。通过这样的组合方式Sora能够高效且创造性地生成高质量的视频内容。具体来讲使用Transformers替换扩散模型中U-Net主干网络分析发现这种Diffusion TransformersDiTs不仅速度更快更高的Gflops而且在ImageNet 512×512和256×256的类别条件图片生成任务上取得了更好的效果256×256上实现了SOTA的FID指标2.27。DiTs论文Scalable Diffusion Models with Transformershttps://arxiv.org/abs/2212.09748。
其中DiTs结构如下
三、SD-3 论文题目Scaling Rectified Flow Transformers for High-Resolution Image Synthesishttps://arxiv.org/pdf/2403.03206.pdf
体验入口https://stability.ai/stablediffusion3
发布时间2024.02.22
该图表以 SD3 为基准基于人类偏好评估展示了 SD3 在视觉美学、提示遵循和排版等方面相对于其他竞争模型的优势。
亮点 1.diffusion transformerDiTs 与Sora类似用Latent Diffusion TransformerDiTs 换掉扩散模型中的 U-Net 结构。SD 3架构图如下所示
具体来讲多模态扩散是基座该架构是建立在 DiT基础上。原始DiT 只考虑类别条件下的图像生成并使用调制机制来对扩散过程的时间步和类别标签进行条件约束。MM-DiT有如下特点。
1、输入侧简单文本特征timestep丰富文本特征带噪latent特征位置编码。
2、多模态DiT如图 2b 所示为文本和图像两种模态使用两组独立的权重然后将两种模态转化后的特征连接起来进行attention后继续分拆出来文本与图像分支如此嵌套。最终达到文本控制的最大化。
2.Flow Matching Flow Matching是一个新的生成模型框架这项研究为基于连续归一化流CNF的生成建模引入了一种新范式实现了以前所未有的规模训练 CNF。这个框架不依赖复杂的模拟或对数似然估计而是直接处理生成目标概率路径的向量场。简单来说Flow Matching给我们提供了一张地图向量场和一条路线概率路径让我们能够更清晰地了解数据是如何生成的。通过这张地图和路线我们可以更轻松地训练生成模型让它学习从噪声中生成出我们想要的数据。Flow Matching还提出了一个叫做条件Flow Matching (CFM)的损失函数这个函数让模型的训练变得更容易。同时它还支持各种概率路径包括diffusion路径和OT路径这让我们在训练模型时有了更多的选择。使用 Flow Matching 技术的意义则在于提升采样效率。Flow Matching论文Flow Matching for Generative Modelinghttps://arxiv.org/pdf/2210.02747.pdf。
图2和图6是Flow Matching对比diffusion和OT示意图 ———————————————— 版权声明本文为博主原创文章遵循 CC 4.0 BY-SA 版权协议转载请附上原文出处链接和本声明。 原文链接https://blog.csdn.net/sunbaigui/article/details/136898729
