教育网站模板,免费制作宣传册的app,移动app设计网站建设,不备案域名能用吗一、预训练语言模型的发展过程
第一阶段的模型主要是基于自监督学习的训练目标#xff0c;其中常见的目标包括掩码语言模型#xff08;MLM#xff09;和下一句预测#xff08;NSP#xff09;。这些模型采用了Transformer架构#xff0c;并遵循了Pre-training和Fine-tuni… 一、预训练语言模型的发展过程
第一阶段的模型主要是基于自监督学习的训练目标其中常见的目标包括掩码语言模型MLM和下一句预测NSP。这些模型采用了Transformer架构并遵循了Pre-training和Fine-tuning的训练范式。通过预训练模型在大规模无标签数据上进行学习可以使模型学习到丰富的语言知识和语境理解能力。
第二阶段是在第一阶段的基础上逐步扩大了模型的参数规模和训练语料的规模。同时研究人员还尝试了不同类型的模型架构如BART、T5和GPT-3。这些模型在预训练的基础上可以进行各种下游任务的微调如文本摘要、机器翻译等展示了更强大的语言生成和理解能力。
第三阶段是目前的最新发展阶段模型的参数规模进一步增大达到千万亿级别。模型架构也从自监督预训练转向了自回归架构更加注重与人类的交互对齐实现可靠、安全、无毒的生成内容。同时大型模型也开始应用于对话生成和多模态任务可以生成更具人类交互性和多样性的内容。 预训练语言模型的发展历程 随着GPT-3的诞生其面向新一代大规模AI模型方向的发展正在成为自然语言处理领域的一个重要趋势。与传统的离散、连续Prompt构建方法不同的是这些新的方法都可以直接从context中获取信息使得模型能够更好地适应真实的场景。 其中In-Context Learning可以让模型根据上下文信息不断学习、优化提高模型的交互性和自适应性。In Context LearningICL的关键思想是从类比中学习。下图给出了一个描述语言模型如何使用 ICL 进行决策的例子。首先ICL 需要一些示例来形成一个演示上下文。这些示例通常是用自然语言模板编写的。然后 ICL 将查询的问题即你需要预测标签的 input和一个上下文演示一些相关的 cases连接在一起形成带有提示的输入并将其输入到语言模型中进行预测。 In-Context Learning 而Instruction-tuning则利用指令的形式让模型更好地理解并遵循特定的任务需求。你觉得哪个任务简单请把序号打在公屏上。做判别是不是比做生成要容易Prompt就是第一种模式Instruction就是第二种。 带女朋友去了一家餐厅她吃的很开心这家餐厅太__了Prompt判断这句话的情感带女朋友去了一家餐厅她吃的很开心。选项A好B一般C差Instruction-tuning 而Chain-of-Thought则能帮助模型在一个完整的思路链条中理解和生成文本。作者Jason发现传统的prompting中总是让模型一步到位地解决一个复杂multi-step问题而我们人类的认知方式则是分步骤解决复杂推理问题。所以他提出了一个简单有效的prompting方法把人类思考问题的过程所谓Chain of Thought用自然语言的形式显性的放在prompt message中。下图左图是标准的Prompting右侧是采用思维链的Prompting。 Chain-of-Thought 二、 Prompt-Tuning 给定一个句子[CLS] I like the Disney films very much. [SEP] 传统的Fine-tuning方法是将其通过BERT的Transformer获得 [CLS]表征之后再喂入新增加的MLP分类器进行二分类预测该句子是积极的positive还是消极的negative因此需要一定量的训练数据来训练。
1构建模板 通过人工定义、自动搜索、文本生成等方法生成与给定句子相关的一个含有[MASK]标记的模板。例如It was [MASK].并拼接到原始的文本中获得Prompt-Tuning的输入[CLS] I like the Disney films very much. [SEP] It was [MASK]. [SEP]。将其喂入BERT模型中并复用预训练好的MLM分类器在huggingface中为BertForMaskedLM即可直接得到[MASK]预测的各个token的概率分布 2标签词映射Label Word Verbalizer 因为[MASK]部分我们只对部分词感兴趣因此需要建立一个映射关系。例如如果[MASK]预测的词是“great”则认为是positive类如果是“terrible”则认为是negative类。
3训练根据Verbalizer则可以获得指定label word的预测概率分布并采用交叉信息熵进行训练。此时因为只对预训练好的MLM head进行微调所以避免了过拟合问题
PETPattern-Exploiting Training出自《Exploiting Cloze Questions for Few Shot Text Classification and Natural Language Inference》EACL2021[4]根据论文题目则可以猜出Prompt-Tuning启发于文本分类任务并且试图将所有的分类任务转换为与MLM一致的完形填空。
PET详细地设计了Prompt-Tuning的重要组件——Pattern-Verbalizer-PairPVP并描述了Prompt-tuning如何实现Few-shot/Zero-shot Learning如何应用在全监督和半监督场景iPET。PET的详细讲解可参考PET的论文解读[5]
PET设计了两个很重要的组件 PatternTemplate 记作 即上文提到的Template其为额外添加的带有[mask]标记的短文本通常一个样本只有一个Pattern因为我们希望只有1个让模型预测的[mask]标记。上文也提到不同的任务、不同的样本可能会有其更加合适的pattern因此 如何构建合适的pattern是Prompt-Tuning的研究点之一 Verbalizer 记作 即标签词的映射对于具体的分类任务需要选择指定的标签词label word。例如情感分析中我们期望Verbalizer可能是 positive和negative是类标签。同样不同的任务有其相应的label word但需要注意的是Verbalizer的构建需要取决于对应的Pattern。因此 如何构建Verbalizer是另一个研究挑战 。 上述两个组件被称为Pattern-Verbalizer-PairPVP一般记作 在后续的大多数研究中均采用这种PVP组件。基于PVP的训练目标可以形式化描述 参考Prompt-Tuning——深度解读一种新的微调范式_prompt tuning_华师数据学院·王嘉宁的博客-CSDN博客
