自己建网站需要什么,王野摩托,品牌网站建设4a小蝌蚪,最新的国外新闻10条Pretraining Language Models with Text-Attributed Heterogeneous Graphs
EMNLP
推荐指数#xff1a;#paper/⭐⭐#
贡献#xff1a;
我们研究了在更复杂的数据结构上预训练LM的问题#xff0c;即#xff0c;TAHG。与大多数只能从每个节点的文本描述中学习的PLM不同#paper/⭐⭐#
贡献
我们研究了在更复杂的数据结构上预训练LM的问题即TAHG。与大多数只能从每个节点的文本描述中学习的PLM不同我们提出了一个新的预训练框架使LM能够捕获不同节点之间的拓扑连接。作者引入了一个拓扑感知的预训练任务去预测文本图的节点是否在文本图中。这可以使得LM可以利用高阶的信号作者设计了一种文本增强策略来丰富无文本节点的语意信息以缓解文本不平衡问题
异构文本属性图介绍(TAHGs) G ( V , E , U , R , X ) \mathcal{G}(\mathcal{V},\mathcal{E},\mathcal{U},\mathcal{R},\mathcal{X}) G(V,E,U,R,X)依次分别代表节点属性边节点类型边类型节点文本描述。
模型架构
第一个模块提取目标节点的上下文比国内通过联合优化LM和异构图神经网络来预测哪些节点涉及文本图。第二个模块是为了引入节点不平衡的文本描述。值得注意的是当预训练结束之后我们只使用PLM在下游任务上测试。
拓扑捕获阶段
这一部分如上所示我们的目的是捕获节点之间的一阶和高阶信息。
首先我们定义context图。(及一个节点的邻域图)。 G u K \mathcal{G}_{u}^{K} GuK代表节点u的K阶内邻居集合。当K大于2及捕获高阶信息。
Context 图预测Context Graph Prediction(GCP)
TAHGs包含多阶邻居信息。和大多数PLM对单个文本进行预训练不同我们提出了上下文图预测来训练LM捕获丰富的关系信息。
首先我们得到节点V的表征如下 H G f H G N N ( G ) ∈ R ∣ V ∣ × d , H^{\mathcal{G}}f_{HGNN}\left(\mathcal{G}\right)\in\mathbb{R}^{|\mathcal{V}|\times d}, HGfHGNN(G)∈R∣V∣×d,其初次输入是通过下面的式子(文本编码)得到的。 f H G N N ( ⋅ ) f_{HGNN}(\cdot) fHGNN(⋅)可以表示任何异构图神经网络。
之后我们编码文本图节点u的描述通过LM h L M u M E A N ( f L M ( X u ) ) ∈ R d , \boldsymbol{h}_{LM}^u\mathrm{MEAN}(f_{LM}\left(X_u\right))\in\mathbb{R}^d, hLMuMEAN(fLM(Xu))∈Rd,
为了捕获节点u的异构性我们引入了一个映射头在PLM的最后一层。下一步我们预测节点v是否在context 图中(这是一个二分类问题) y ^ u , v sigmoid ( h L M u ⊤ W ϕ ( v ) H v G ) \hat{y}_{u,v}\operatorname{sigmoid}\left(\boldsymbol{h}_{LM}^{u}{}^{\top}\boldsymbol {W}_{\phi(v)}\boldsymbol{H}_{v}^{\mathcal{G}}\right) y^u,vsigmoid(hLMu⊤Wϕ(v)HvG) y u , v 1 y_{u,v}1 yu,v1如果 G u K G_u^K GuK包含v否则为0。
预训练策略
在这个工作中我们使用BERT以及R-HGCN。
预测上述所有节点的context graph 概率是很困难的 y u , v y_{u,v} yu,v因此我们使用负样本采样去优化上述公式。为了生成负样本我们采样k个邻居对于每个跳负样本从 V ∖ V u K \mathcal{V}\setminus\mathcal{V}_{\boldsymbol{u}}^{K} V∖VuK中采样负样本比是5(一个正样本对应5个负样本)。对于GCPtask,我们使用MLM任务去帮助LMs更好的处理文本。最终的优化目标为 L u L u M L M L u C G P − log P ( X ~ u ∣ X u ∖ X ˉ u ) − ∑ v ∈ V u K log y ^ u , v − ∑ i 1 5 E v i ′ ∼ P n ( V ∖ V u K ) log ( 1 − y ^ u , v i ′ ) , \mathcal{L}_{u}\mathcal{L}_{u}^{MLM}\mathcal{L}_{u}^{CGP}-\log P(\tilde{X}_{u}|X_{u\setminus\bar{X}_{u}})-\sum_{v\in\mathcal{V}_{u}^{K}}\log\hat{y}_{u,v}-\sum_{i1}^{5}\mathbb{E}_{v_{i}^{\prime}\sim P_{\boldsymbol{n}}(\mathcal{V}\setminus\mathcal{V}_{\boldsymbol{u}}^{K})}\log\left(1-\hat{y}_{u,v_{\boldsymbol{i}}^{\prime}}\right), LuLuMLMLuCGP−logP(X~u∣Xu∖Xˉu)−∑v∈VuKlogy^u,v−∑i15Evi′∼Pn(V∖VuK)log(1−y^u,vi′), X ~ u \tilde{X}_{u} X~u代表扰动的节点原始文本的masking rate是40%。 P n ( ⋅ ) P_n(\cdot) Pn(⋅)代表正太噪音分布。
文本增强策略
TAGs中有文本丰富的图也有textless的图。textless的图不足以反映他们的语意因此我们涉及了一种文本增强策略来解决这个问题。这个策略首先根据TAHGs中的链接结合其邻居的文本描述来丰富无文本节点的语意然后通过LM来增强文本。
具体的是对于text-rich的节点u我们可以使用token作为输入 M u M_{u} Mu [ C L S ] X u [ S E P ] [\mathrm{CLS}]X_{u}\mathrm{[SEP]} [CLS]Xu[SEP]。对于text-less的节点u我们可以拼接它的文本和k个邻居采样的文本作为输入 M u M_{u} Mu X u [ S E P ] X N u 1 [SEP] ... [SEP] X N k [ S E P ] , X_{u}\mathrm{~[SEP]~}X_{\mathcal{N}_u^1}\text{ [SEP] ... [SEP]}X_{\mathcal{N}^k} \mathrm{~[SEP],} Xu [SEP] XNu1 [SEP] ... [SEP]XNk [SEP],
通过如上的增强我们可以将PLM的输入从 X X X更替为 M u M_u Mu
下游任务的微调
在下游任务中我们抛弃了HGNN只使用预训练的LM来生成语意信息通过LM编码器。我们探索了不同的headers(映射头)。对于下游任务LM是冻结的只有header会被微调。
实验结果我自己的分内心
从表2可以看出作者提出的GCP好像么有啥特别大的效果(数值上与w/ RGCN对比)。但是作者的方法又比其他人的方法好一点点那么其原因可能是作者提出的第二部分文本增强起作用了。这个文本增强的方法也类似于24年唐杰组的虚拟节点
从该表可以看出TAS的性能其实比neighbors only 和textless-only两者较高的的高一丢丢。可以猜测TAS的最大的作用是增强了其的稳定性
