学校网站开发的背景,企业公示信息查询系统黑龙江,中美军事的最新消息,化妆品网页设计论文一种利用句法依赖和词性相关性信息来过滤噪声#xff08;无关跨度#xff09;的基于span方法。 会议EMNLP 2023作者Pan Li, Ping Li, Kai Zhang团队Southwest Petroleum University论文地址https://aclanthology.org/2023.emnlp-main.17/代码地址https://github.com/bert-ply… 一种利用句法依赖和词性相关性信息来过滤噪声无关跨度的基于span方法。 会议EMNLP 2023作者Pan Li, Ping Li, Kai Zhang团队Southwest Petroleum University论文地址https://aclanthology.org/2023.emnlp-main.17/代码地址https://github.com/bert-ply/Dual_Span/tree/master简介一种基于span双通道的情感三元组抽取模型
Task
方面级情感分析ABSA中的一项子任务情感三元组抽取ASTE。 图1. ASTE 任务中带有依存树和词性的句子
Problem
在ASTE任务中采用跨度交互的方式已被证明能为模型带来不错的收益。然而基于span的方法最大的一个问题是它们通常会枚举句子中所有的span这样会带来非常大的计算成本和噪声。具体来说长度为n的句子的枚举跨度数量是 o ( n 2 ) o(n^2) o(n2)而在后期跨度配对阶段所有意见和方面候选跨度之间可能的交互数量为 o ( n 4 ) o(n^4) o(n4)这意味着绝大多数的跨度都是无效的。此外大多数现有的基于跨度的方法都对两个跨度之间的直接交互进行建模而高阶交互作用被忽视。 为了解决以上问题作者对跨度中的语言现象进行了探讨
在语法依赖树方面由多个单词组成的aspect或opinion跨度在语法上是依赖的并且多重依赖关系可以在跨度之间传递高阶交互。在词性方面aspect和opinion存在一些常见的情况如aspect通常是名词N或名词短语NN-NN而opinion通常是形容词JJ。
Contributions
提出了一种新的跨度生成方法通过利用句法依赖关系和词性特征之间的相关性显著减少了跨度候选的数量从而降低了计算成本和噪声。通过构建基于句法依赖和词性关系的图注意力网络RGAT模型能够捕获跨度/单词之间的高阶语言特征交互增强了跨度表示。两个公共数据集上的广泛实验表明Dual-Span模型在ASTE任务上超越了所有现有的最先进方法证明了其有效性和优越性。
Methodology
Sentence Encoding
本文采用了两种句子编码方法
GloVeBiLSTMBERT
其实只做进行BERT版本即可可能是为了与借鉴的Span-ASTE对比也采用了这两种编码方法。
Feature Enhancing Module
如上所述跨度或跨度内单词涉及句法依赖性和词性相关性因此将这些信息合并到特征表示中可能有利于跨度配对和情感预测。 为了捕获高阶依赖关系这里我们设计了一种基于图神经网络的方法来对高阶跨度内和跨度的句法依赖关系和词性关系进行编码。具体来说我们构建了词性关系图对应于图3b所示的多关系矩阵。然后我们应用两个关系图注意网络分别学习所讨论句子的句法依存树和构建的词性图上单词之间的高阶交互。
Part-of-speech And Syntactic Dependency Graph Construction
利用斯坦福的CoreNLP来完成句法依赖和词性的标注 图2. ASTE 任务中一个句法依存树和词性邻接矩阵的例句 G S y n ( V , R S y n ) G^{Syn}(V,R^{Syn} ) GSyn(V,RSyn)和 G P o s ( V , R P o s ) G^{Pos}(V,R^{Pos} ) GPos(V,RPos)分别表示句法依存图和词性图索引为i的词与索引为j的词之间的关系向量分别为 r i , j s r^{s}_{i,j} ri,js和 r i , j p r^{p}_{i,j} ri,jp。
High-order Feature Learning with Relational Graph Attention Network 图3. Dual-Span的模型架构图 在构建好句法依赖图和词性图之后作者构建了两个关系图注意力网络RGATSynGAT和PosGAT分别用来捕获句法依赖图和词性图的语言特征。 对于第 i i i个节点更新过程如下 其中 Z Z Z表示注意力头的数量 h i s y n ( l ) h^{syn}_i(l) hisyn(l)和 h i p o s ( l ) h^{pos}_i(l) hipos(l)表示第 l l l层数第 i i i个节点的表示向量 N ( i ) N(i) N(i)表示与 i i i直接相邻的节点集。 为了融合句法依赖和词性关系特征作者引入了一种门机制
Dual-Channel Span Generation
前面通过R-GAT完成了句法依存和词性信息的融合接下来就是进行span的枚举了。这里的span枚举有两种方式。
Syntactic Span Generation
只枚举索引为 i i i的词与索引为 j j j的词之间存在依赖边或关系 e i , j 1 e_{i,j}1 ei,j1且 i i i与 j j j之间的距离小于 L s L_s Ls则认为索引 i i i到索引 j j j之间的所有的词是一个span。 其中 f w i d t h ( i , j ) f_{width}(i,j) fwidth(i,j)是一个可训练的embedding。
Part-of-speech Span Generation
只枚举出所有的名词和形容词 ( k , l ) (k,l) (k,l)中每个词都是NN或者JJ则 k k k与 l l l之间的所有词是一个span。 其中 f w i d t h ( k , l ) f_{width}(k,l) fwidth(k,l)是一个可训练的embedding。
最终将两种枚举方案种的span进行取并集得到最终的span候选集 S S i , j s y n ∪ S k , l p o s S S^{syn}_{i,j}∪S^{pos}_{k,l} SSi,jsyn∪Sk,lpos
Span Classification
获得span候选集 S S S后通过利用两个辅助任务即 ATE 和 OTE 任务进一步缩小可能的跨度池。相当于对每个span做一个三分类任务{Aspect, Opinion, Invalid} 预测为Aspect或Opinion的span并不是全部都作为候选的Aspect或Opinion而是分别取出tok nz个作为Aspect候选span和Opinion候选span。做法与Span-ASTE一致
Triplet Module
对候选的aspect和opinion进行两两配对配对之后的跨度对的向量表示 f d i s t a n c e ( a , b , c , d ) f_{distance}(a,b,c,d) fdistance(a,b,c,d)是一个可训练的embedding r a b , c d s r^{s}_{ab,cd} rab,cds为词a、b与词c、d之间的依赖关系表示向量做一个均值操作。 接下来对每个配对之后的pair进行4分类{Positive, Negative, Neutral, Invalid}
Training objective
训练的损失函数定义为跨度分类和三元组模块中跨度对分类的负对数似然之和
Experiments
Dataset
ASTE-Data-v1和ASTE-Data-v2所有数据集均基于 SemEval 挑战Pontiki 等人2014、2015、2016并包含笔记本电脑和餐厅领域的评论。 图4. ASTE两个数据集的想详细统计结果
Main Results 图5. ASTE-Data-v1数据集的主要结果 图6. ASTE-Data-v2数据集的主要结果
性能提升 Dual-Span模型在四个公共数据集Lap14, Res14, Res15, Res16上进行了广泛的实验实验结果表明该模型在F1分数上一致超越了所有现有的最先进方法。这证明了Dual-Span在ASTE任务上的有效性和优越性。句法结构的利用 在基于标签的端到端方法中那些利用句子句法结构的方法如S3E2, MTDTN和EMC-GCN通常比仅学习标签信息的方法如OTE-MTL, GTS和JET表现得更好这表明句法特征对于三元组表示是有意义的。
Ablation Study 图7. 消融实验的结果 通过消融研究论文进一步验证了Dual-Span中各个组件的有效性。移除句法图注意力网络SynGAT、词性图注意力网络PosGAT或两者都移除Dual-RGAT都会导致性能下降这表明模型的每个部分都对最终的ASTE任务性能有贡献。
Effectiveness of Dual-Span in Span Generation 图8. ATE和OTE任务在数据集D2上的实验结果 在 ATE 任务上Dual-Span 始终优于 Span-ASTE 和 GTS这表明基于句法和词性相关性的候选缩减和表示对于方面术语识别是有效的。然而在 OTE 任务上模型在大多数基准数据集上略逊于 Span-ASTE这是由较低的 Pprecision值引起的。可能是因为作者只考虑涉及用 JJ或NN 标记的单词的跨度。但是意见术语可以用 VBN 标记但他们没有被包括在内。 图9. 在D2数据集上生成span耗时秒的实验结果 Dual-Span模型通过双通道跨度生成策略显著减少了计算成本实验结果显示与Span-ASTE相比Dual-Span在生成跨度的时间消耗上减少了一半。
Conclusion
Dual-Span模型通过利用句法关系和词性特征来改进ASTE任务的性能。实验结果表明该方法在ASTE和ATE任务上相比所有基线方法都有显著提升。论文指出对于OTE任务Dual-Span通常不如枚举所有可能跨度的简单跨度基方法。
