黑龙江省建设教育网站查询,织梦网站修改使用教程,网络设置ip地址,手机网站进不去怎么解决SPCL论文阅读笔记
论文中心思想
这篇论文是研究ERC任务的论文#xff0c;作者提出了监督原型对比学习的方法用于ERC任务。
论文
EMNLP2022 paper “Supervised Prototypical Contrastive Learning for Emotion Recognition in Conversation”
现存问题
现存的使用监督对…SPCL论文阅读笔记
论文中心思想
这篇论文是研究ERC任务的论文作者提出了监督原型对比学习的方法用于ERC任务。
论文
EMNLP2022 paper “Supervised Prototypical Contrastive Learning for Emotion Recognition in Conversation”
现存问题
现存的使用监督对比学习解决ERC任务仍然存在两个问题 ERC数据集经常是类别不平衡的并且可能在小的批次中无法满足适当的正负样本比例 现存ERC数据集通常是多模态的方式收集的存在一些对话的文本信息不足以区分情绪
解决方法
对于第1个问题提出监督原型对比损失(整合了原型网络和监督对比学习) 具体如何计算我这里没有看懂对于第2个问题将课程学习与对比学习相结合。设计了一个基于距离的难度度量函数方法具体实现
原型向量如何获取没看懂
原型对比学习如何学习没看懂
课程策略没看懂
有监督的原型对比学习损失函数如何计算
将每个类别的原型向量引入损失中
第i个类别的原型向量从表示队列中随机挑选K个样本作为支持集将支持集的平均值作为原型向量。
得到的原型向量作为对应类别的一个样本实验结果
实验表明在类别不平衡情景下SPCL能够工作得很好并且对于训练批次大小没有那么敏感创新性
提出SPCL损失 第一个将课程学习与对比学习联合用于ERC 创新性主要是在训练策略上面模型结构就是用的SimCSE??
代码环境配置
pytorch1.7.0要求python3.6 python3.8 但是这里装3.7报错了改装了3.8 GPU:RTX3090(网上租的) 创建虚拟环境在虚拟环境中安装pytorch: conda install pytorch1.7.0 cudatoolkit11.0 -c pytorch 然后按照作者的readme文件安装requirements.txt
注个人觉得这个代码比较复杂我看了好久才看明白555~ 怪本人菜好好努力呀~
补充知识
原型对比学习前人提出的用于综合对比学习和聚类学习两种方法的一种方法。
原型代表一组语义上相似的实例的代表性嵌入通过聚类算法找到原型并将每个实例分配给不同的原型。结论
提出用于ERC任务的SPCL损失在类别不平衡的数据上也表现不错对于训练batch size也没有那么敏感。其他
笔记都是本人的个人意见和想法仅供参考如果您有任何建议也非常欢迎留言指出~ 2024-10-29 的的
