嘉兴高档网站建设,上海娱乐场所关门,网站title是什么,上海培训网站建设原文链接#xff1a;芝士AI吃鱼 目前已经采用多种方法来增加Transformer的上下文长度#xff0c;主要侧重于缓解注意力计算的二次复杂度。
例如#xff0c;Transformer-XL通过缓存先前的上下文#xff0c;并允许随着层数的增加线性扩展上下文。Longformer采用了一种注意力… 原文链接芝士AI吃鱼 目前已经采用多种方法来增加Transformer的上下文长度主要侧重于缓解注意力计算的二次复杂度。
例如Transformer-XL通过缓存先前的上下文并允许随着层数的增加线性扩展上下文。Longformer采用了一种注意力机制使得token稀疏地关注远距离的token从而降低计算复杂度。BigBird和LongT5也利用稀疏注意力机制来处理长序列。Hourglass通过对中间层的激活单元进行下采样以减少计算量并实现更长的上下文。COLT5提出了条件计算的方法以节省内存并实现更大的上下文。Memorizing Transformer使用k近邻查找来选择最相关的token这也可以看作是减少注意力计算复杂度的一种方式。
我们的工作遵循了Memorizing Transformer的方法旨在训练一个能够处理更长注意力上下文长度的模型例如通过缓解分心问题从而具有更好的长上下文处理能力。
针对更长的上下文微调LLM。之前的工作如RETRO和Memorizing Transformer已经展示了一条有前途的道路可以在不需要重新训练整个模型的情况下微调现有的LLM以添加新的功能。
最近一些工作已经探索了通过微调LLaMA来增加其上下文长度。Landmark attention提出了一种将LLM的上下文压缩成landmarks的压缩方案将LLaMA-7B的上下文长度增加到32K。
位置插值引入了对旋转位置编码方案的修改使其能够微调32K上下文。与这项工作相比我们的方法不依赖于位置编码通过在内存中删除位置编码使我们能够推广到256k个token尽管该模型只在长度为8K的序列上进行了训练但依然产生了理论上无限的上下文长度。
对比学习。对比学习旨在通过比较正负样本来学习得到更好的表征。CLIP和SimCLR是两种在图像领域取得最先进性能的流行对比学习方法。
在对比预训练期间负样本被保留在同一批次中通过学习将它们与正样本区分开。在对比学习中扩展批次大小已被证明可以提高表征的质量而且一些研究人员也发现语言建模过程中的嵌入空间很容易遭受退化其中嵌入会被紧密地压缩在一个狭窄的锥体中使得难以区分它们。TRIME提出了一种训练方法旨在训练具有记忆增强功能的语言模型它使用batch内的负样本来提高表征的质量。
注意力集中的TransformerFocused TransformerFoT是Transformer模型的一个简单的即插即用扩展既可以用于训练新模型也可以用于微调现有的具有更长上下文的大模型。为此FoT使用记忆注意力网络memory attention layers和跨批次训练。如图2所示记忆注意力网络使模型能够在推理时从外部内存中检索信息有效地扩展了上下文。跨批次训练过程使模型倾向于学习key-value的表征这些表征可以很容易被记忆注意力网络使用。
