山西推广网站建设,php网站培训机构企业做网站,标准型网站---北京网站建设,工商网企业信息查询系统上海开头部分
1. 要点一
从文章题目来看-目的是#xff1a;使用文本监督得到一个可以迁移的 视觉系统
2.要点二
之前是 fix-ed 的class 有诸多局限性#xff0c;所以现在用大量不是精细标注的数据来学将更好#xff0c;利用的语言多样性。——这个方法在 nlp其实广泛的存在使用文本监督得到一个可以迁移的 视觉系统
2.要点二
之前是 fix-ed 的class 有诸多局限性所以现在用大量不是精细标注的数据来学将更好利用的语言多样性。——这个方法在 nlp其实广泛的存在但是视觉还是在imagenet上pretrain所以有诸多限制。
3.要点三 clip模型做的是迁移学习和泛化学习。 效果特别好比imagenet好很多不同域数据都能很好分类
方法部分
1.制作了数据集——webimagetext 2.how to train a large model on GPUs? 3.对比学习效率最高 4. zero-shot transfer 自监督-弱监督 很好的特征。但是下游任务还是得微调distribute shift、下游数据不好收集。clip就是为了不微调用文本进行微调。 5.Prompt 提示模板 适合研究因为不需要预训练太费时间。很有用在推理的时候用
6.效果
局限性部分
1.数据减少 自训练、自监督方法 2.ood 数据还是不行
下游应用
1.adapter、efficient finetuning: 已有的模型参数更好能应用到下游任务中 2.三种方式进行应用clip 1最小的 方式直接使用特征加进已有设计好原来的模型里面 2蒸馏方法利用clip的知识帮助我的模型收敛更快 3不借鉴参数自己定义自己的对比学习设计正负样本来训练模型。
总结
不改变大模型的参数只是训练万分之一的参数来进行。更好
