微信登录建设银行网站,什么网站可以做平面设计赚钱,asp网站开发技术背景介绍,wordpress无法用qq邮箱验证一、说明 在本文中#xff0c;我们将介绍CLIP背后的论文#xff08;Contrastive Language-I mage Pre-Training#xff09;。我们将提取关键概念并分解它们以使其易于理解。此外#xff0c;还对图像和数据图表进行了注释以澄清疑问。 图片来源#xff1a; 论文#xff1a… 一、说明 在本文中我们将介绍CLIP背后的论文Contrastive Language-I mage Pre-Training。我们将提取关键概念并分解它们以使其易于理解。此外还对图像和数据图表进行了注释以澄清疑问。 图片来源 论文从自然语言监督中学习可转移的视觉模型 代码https://github.com/OpenAI/CLIP 首次发布时间26 年 2021 月 日 作者亚历克·拉德福德、金钟旭、克里斯·哈拉西、阿迪亚·拉梅什、加布里埃尔·吴、桑迪尼·阿加瓦尔、吉里什·萨斯特里、阿曼达·阿斯克尔、帕梅拉·米什金、杰克·克拉克、格雷琴·克鲁格、伊利亚·苏茨克弗 类别 多模态深度学习 计算机视觉 自然语言处理 基础模型 表示学习 二、背景简述 CLIPContrastive Language-I mage Pre-Training是一个多模态模型用于学习自然语言和图像之间的对应关系。它根据从互联网收集的 400 亿个文本图像对进行训练。正如我们将在本文后面发现的那样CLIP 具有强大的零镜头性能这意味着它在与训练不同的下游任务中表现良好无需执行任何微调。 CLIP旨在 将自然语言处理中已知的大规模预训练技术例如GPT家族T5和BERT的成功应用于计算机视觉。通过使用自然语言而不是固定的集合类标签实现灵活的零镜头功能。 为什么你可能会问自己这是一件大事首先许多计算机视觉模型都是在众包标记数据集上训练的。这些数据集通常包含数十万个样本。一些例外情况是在百万个或两位数样本的范围内。可以想象这是一个非常耗时且昂贵的过程。另一方面自然语言模型的数据集通常要大几个数量级并且是从互联网上抓取的。其次如果对象检测模型已在某些类上训练并且您想要添加额外的类则需要在数据中标记此新类并重新训练模型。 CLIP将自然语言和图像特征相结合的能力与其零镜头性能相结合导致许多其他流行的基础模型的广泛采用例如UnCLIPEVASAMStable DiffusionGLIDE或VQGAN-CLIP仅举几例。 三、CLIP的方法 现在让我们深入了解 CLIP 的方法。图 1 中描绘的波纹管显示了 CLIP 的架构及其训练过程 图 1 — CLIP 的架构和训练过程。 模型体系结构由两个编码器模型组成每个模型对应一个模态。对于文本编码器使用转换器而图像编码器使用ResNet或ViT视觉转换器的版本。学习的线性变换每种模态一个将特征转换为大小匹配的嵌入。最后计算相反模态的每个嵌入之间的余弦相似性并通过学习的温度标量进行缩放。在训练过程中匹配对之间的余弦相似性最大化而不正确的对之间的余弦相似性最小化因此框架名称中的术语“对比”。 当然除了大型数据集之外还有一些微妙之处对成功至关重要。首先对比学习方法在很大程度上取决于批量大小 N。沿着正确的样本提供的负样本越多学习信号就越强。CLIP 的批量大小为 32,768这是相当大的。其次CLIP不会学习确切措辞的匹配而是一种更简单的代理任务只学习整个文本也称为单词袋BoW。 有趣的事实使用 ResNet50x64 作为图像编码器的 CLIP 版本在 18 V592 GPU 上训练了 100 天而使用 ViT 模型的版本在 12 V256 GPU 上训练了 100 天。换句话说分别在单个 GPU 上超过 29 年和超过 8 年忽略将使用不同的批量大小的事实。 训练模型后它可用于对图像执行对象分类。问题是如何使用尚未训练对图像进行分类的模型进行分类也没有输入类标签但文本提示图2.演示如何 图 2 — CLIP 的图像分类架构。 类标签可以看作是由单个单词组成的文本提示。为了告诉模型哪些类可用于分类任务将一组 N 个类输入到模型中。与在一组固定标签上训练的分类模型相比这是一个巨大的优势。我们现在可以输入 3 个类或 100 个类;这是我们的选择。正如我们稍后将看到的为了提高 CLIP 的性能类标签被转换为提示以便为模型提供进一步的上下文。然后将每个提示馈送到文本编码器然后转换为嵌入向量。 输入图像被馈送到图像编码器以获得嵌入向量。 然后计算每对文本和图像嵌入的余弦相似性。对获得的相似性值应用 Softmax 以形成概率分布。最后选择概率最高的值作为最终预测。 四、实验和消融 CLIP论文介绍了大量的实验和消融。在这里我们将介绍五个我认为从中理解CLIP的成功很重要。先介绍一下要点由 CLIP 的作者制定然后我们将深入了解细节 培训效率CLIP在零镜头传输时比我们的图像标题基线更有效文本输入格式快速工程和集成可提高零射性能零镜头性能零镜头剪辑具有完全监督基线的竞争力少镜头性能零射程 CLIP 优于少射程线性探头分配班次零镜头 CLIP 比标准 ImageNet 型号更能抵抗分布偏移 4.1 培训效率 在训练期间图像编码器和文本编码器是联合训练的这意味着同时使用单个训练目标。CLIP不仅执行对比学习方案而且将文本提示作为一个整体与给定的图像进行比较因此单词的顺序无关紧要。它只是一个“文字袋”。短语“我的名字是萨沙”与“萨沙的名字是我的”产生相同的嵌入。 预测一袋单词而不是正确的单词及其在短语中的位置是一个更容易的代理目标。图3.波纹管显示了 ImageNet 上针对训练用于预测精确单词的初始转换器模型、训练用于预测单词袋的初始转换器模型以及使用单词袋执行对比学习的 CLIP 模型的训练样本数的零镜头精度。 “CLIP 在零镜头传输方面比我们的图像标题基线效率高得多” — CLIP 作者 图 3 — 零射效率 4.2 文本输入格式 正如我们在图 2 中看到的为了执行对象分类类标签已转换为文本提示。当然这不是偶然的因为CLIP完全可以用一个词。这样做是为了利用语言的描述性并提供上下文来解决可能的歧义。让我们以“拳击手”这个词为例。它可能是一种狗或一种运动员。CLIP的作者已经表明文本提示的格式非常重要可以提高性能并提高效率。 “快速工程和集成提高了零镜头性能” — CLIP 作者 图 4— 提示工程和集成与无上下文类名 4.3 零镜头性能 在另一个实验中作者将CLIP的零镜头图像分类性能与专门在比较数据集上训练的模型进行了比较。 “零镜头 CLIP 与完全监督的基线具有竞争力” — CLIP 作者 图 5— 零镜头剪辑与监督基线 4.4 少镜头性能 虽然零镜头预测器没有对下游任务进行微调但很少有镜头检测器可以。作者对多个公开可用的预训练模型进行了实验并将其在20个不同数据集上的少数镜头性能与零镜头和少镜头CLIP进行了比较。少数镜头模型在每个班级的 1、2、4、8 和 16 个样本上进行了微调。 有趣的是零镜头 CLIP 的表现大致与 4 镜头 CLIP 一样好。 如果将CLIP与其他模型进行比较则必须考虑所比较的公开可用模型即BiTSimCLR和ResNet已经在不同且较小的数据集上预先训练为CLIP模型。 “零镜头 CLIP 优于少镜头线性探头” — CLIP 作者 图 6— 少镜头性能 4.5 分布转移 一般来说模型对分布偏移的鲁棒性是指它能够在不同数据分布的数据上表现得与在训练数据的数据分布上一样好。理想情况下它的性能同样好。实际上它的性能会下降。 零镜头CLIP的鲁棒性已与ResNet101 ImageNet模型进行了比较。两种模型都在 ImageNet 的自然分布偏移上进行评估如图 7 所示。 “零镜头 CLIP 比标准 ImageNet 模型更能适应分布偏移” — CLIP 作者 图 7 — 分布偏移 五、更多阅读和资源 萨沙·基尔希 正如本文开头提到的CLIP已被大量项目广泛采用。以下是使用 CLIP 的论文列表 [解剪辑]使用 CLIP 潜伏生成分层文本条件图像[伊娃]探索大规模遮罩视觉表示学习的局限性[山姆]细分任何内容[稳定扩散]基于潜在扩散模型的高分辨率图像合成[滑翔]使用文本引导扩散模型实现逼真的图像生成和编辑[VQGAN-CLIP]使用自然语言指导生成和编辑开放域图像 如果您想深入了解实现并自己测试则提供存储库列表 OpenAI 的官方回购Python Notebook 可以玩 CLIPOpenCLIPCLIP的开源实现
