批量网站建设合作协议,合肥做兼职网站设计,做暧暧小视频网站,网页设计基础课程参考#xff1a;对比学习#xff08;Contrastive Learning#xff09;:研究进展精要 - 知乎
参考#xff1a;对比学习论文综述【论文精读】_哔哩哔哩_bilibili
参考#xff1a;度量学习DML之Contrastive Loss及其变种_对比损失的变种_胖胖大海的博客-CSDN博客
参考对比学习Contrastive Learning:研究进展精要 - 知乎
参考对比学习论文综述【论文精读】_哔哩哔哩_bilibili
参考度量学习DML之Contrastive Loss及其变种_对比损失的变种_胖胖大海的博客-CSDN博客
参考度量学习DML之Triplet Loss_triple loss 泛化能力差_胖胖大海的博客-CSDN博客
参考度量学习DML之Lifted Structure Loss_胖胖大海的博客-CSDN博客
参考度量学习DML之Circle Loss_胖胖大海的博客-CSDN博客
参考度量学习DML之Cross-Batch Memory_胖胖大海的博客-CSDN博客 以下仅是个人的一些观点谨慎参考。 基于负例的对比学习Contrastive Learning与度量学习Metric Learning的异同点相同点 1、对比学习和度量学习中都使用了正样本对和负样本对的概念在训练时都是通过拉近正样本之间的距离或者提升相似度推远负样本之间的距离或者降低相似度完成模型训练 2、对比学习和度量学习通常都可以采用Backone Projector Loss的架构其中对比学习的损失可以是InfoNCE Loss度量学习的损失可以是Triplet Loss、Circle Loss、Proxy Loss、InfoNCE Loss等个人理解在Loss层面两者可以混用不同点 1、任务类型对比学习通常是自监督self-supervised任务度量学习通常是监督supervised任务 2、训练数据构造对比学习的训练Batch中的正样本对通常来自于同一张图像的不同增强负样本对来自于其他图像。度量学习的训练Batch中的正样本对通常来自于属于同一类的图像负样本对来自于属于其他类的图像 3、训练目标对比学习使用自监督的方式通常是为了得到一个预训练模型训练时采用Backone Projector InfoNCE Loss架构使用时只需要Backbone部分,归根结底还是要训练一个更通用、更底层的图像特征提取模型Backbone。度量学习使用有监督的方式使用Backone Projector Metric Learning Loss也可以是InfoNCE Loss架构最终的目的是想端到端的学习一个直接可用的embedding特征模型。训练时采用Backone Projector Loss架构使用时需要Backbone Projector部分主要疑问 如果对于两张都是狗的图片但是是不同的图片为何他们在对比学习中projector之后的表示空间是相邻的呢因为他们是不同的图片所以应该是反例反例的话是要被在超平面球上推开因此是离远的趋势但为什么他们最后还是在相临近的位置上/相似度较高呢对比其他的类别的图片比如说猫 也就是说无监督学习是如何在表示空间中学习到不同类别形成的的clusters呢
解释一 对比学习使用自监督的方式归根结底还是要训练一个更通用、更底层的图像特征提取模型Backbone而度量学习使用有监督的方式最终的目的是想端到端的学习一个embedding特征模型。所以对于Batch中两张狗的图像得到的特征是不是在超球面上的相邻位置对于对比学习来说并不重要这是度量学习要关注的事情。度量学习的是有监督的训练Batch中同一类多张狗的图片之间互为正样本对不同类之间互为负样本对保证学到的embedding特征同一类在超球面上处于相邻的位置解释二 以基于Batch的负例方法为例考虑两种情况 情况一假如在一个Batch中的所有图片都是不同类别的这种训练数据很难构造那么经过两次数据增强后有两个样本互为正例其他2N - 2个样本都是负例训练时拉近正例推远负例 情况二假如在一个Batch中同时存在两张狗的图片按照自监督的预设前提自己只和自己像和其他都不像那么这两张狗的图片互为负样本模型训练时在特征空间上确实会将这两张图片的表征距离拉远所以此时需要用到损失函数里面的温度系数温度系数设置的越小会把“负例”推的越远但此时的负例可能是假负例所以作者也讲了温度系数设置的太小容易出现误判的负例。
