做电影下载网站好,网站静态和动态那个好,大华天途建设集团网站,通过法人姓名查企业文章目录 3、语言模型训练数据3.1、词元切分3.2、词元分析算法 3、语言模型训练数据
数据质量对模型影响非常大。 典型数据处理#xff1a;质量过滤、冗余去除、隐私消除、词元切分等。 训练数据的构建时间、噪音或有害信息情况、数据重复率等因素都对模型性能有较大影响。训… 文章目录 3、语言模型训练数据3.1、词元切分3.2、词元分析算法 3、语言模型训练数据
数据质量对模型影响非常大。 典型数据处理质量过滤、冗余去除、隐私消除、词元切分等。 训练数据的构建时间、噪音或有害信息情况、数据重复率等因素都对模型性能有较大影响。训练数据和测试数据的时间错配会一定程度上影响模型的的效果。
3.1、词元切分
构建词元表覆盖绝大部分的输入词并避免词表过大所造成的数据稀疏问题。 BPE 将字节视为合并的基本符号。 算法过程
词元词表的确定 统计每个相邻字节对的出现频率合并出现频率最高的字节对将其作为 新的词元加入词表。 2. 全词切分为词元以及词元合并为全词的方法 输入词序列全词切分对照词表按词元从长到短顺序遍历匹配。 合成全词时词元表示失败部分视作未登录词赋予相同表示。 开源数据集合
PileROOTSRefinedWebSlimPajama
3.2、词元分析算法
WordPiece词元分析算法BERT
先评分再合并合并使得训练数据似然概率增加最高的词元对。 HuggingFace 提供的评分公式 s c o r e 词元对出现的频率 第一个词元出现的频率 × 第二个词元出现的频率 score \frac{词元对出现的频率}{第一个词元出现的频率 × 第二个词元出现的频率} score第一个词元出现的频率×第二个词元出现的频率词元对出现的频率 Unigram词元分析算法T5,mBART
从一个足够大的可能词元集合开始迭代的从当前列表中删除词元直到达到预期的词汇表大小为止。删除标准训练语料库似然性的增加量 语料库的似然性通常是指一个特定文本序列通常是一段文本或一个句子在语料库中出现的概率。 BPE词元分析算法GPT-2BARTLLaMA 将字节视为合并的基本符号。
Tips R d R^d Rd表示d维度张向量空间。 R d × m R^{d × m} Rd×m d ×m 的实数矩阵的空间。 Hugging FaceHugging Face Transformers是一个面向自然语言处理NLP领域的开源社区和公司它以构建和维护各种预训练模型以及提供与自然语言处理相关的工具和库而闻名。该社区和公司的名字“Hugging Face”来自于一个富有亲和力的面部照片反映了他们的愿景即使人工智能模型变得更加友好和可访问。 Hugging Face的主要贡献和活动包括 预训练模型库Hugging Face维护了一个大规模的预训练模型库其中包括了许多流行的NLP模型如BERT、GPT、RoBERTa、XLNet等。这些模型在各种NLP任务上表现出色并且可以用于微调以适应特定任务。Transformers库Hugging Face提供了名为Transformers的Python库用于轻松加载、使用和微调各种预训练模型。这个库包含了丰富的示例代码和工具使研究人员和开发者能够快速开始使用最先进的NLP模型。模型卡片Model CardsHugging Face提倡模型卡片的使用这是一种文档形式用于提供有关预训练模型的详细信息、使用案例、性能评估和注意事项。这有助于提高模型的透明度和可解释性。社区贡献Hugging Face的社区活跃并且在GitHub上有大量的贡献者。他们分享了自己的模型、工具、代码和教程使整个NLP社区受益。HubHugging Face提供了一个模型和数据的中央存储库称为Hugging Face Hub允许用户共享、下载和管理NLP模型和数据集。 检查点是模型在训练或生成过程中的某个时间点的保存状态通常包括模型的权重参数和其他相关信息以便稍后能够重新加载模型并继续训练或进行推理。 消融实验ablation experiment是一种用于研究机器学习模型或深度学习模型的重要实验方法。在这种实验中研究人员有目的地将模型的某些组件或特性删除或禁用以评估这些组件对模型性能的影响。消融实验的主要目的是帮助理解模型的工作原理、识别关键组件以及确定哪些因素对模型性能产生了最大的影响。 Few-shot Learning少样本学习 Few-shot learning 涉及到在训练数据非常有限的情况下使模型能够有效地学习和泛化。通常few-shot learning 指的是模型在少于常规训练所需数量的样本上进行训练。这可以包括几个样本通常小于10个或更多但总体上比传统的大规模训练数据要少。Few-shot learning 的一个常见应用是在计算机视觉中例如人脸识别任务中通过提供只有少数几张示例图像使模型能够识别和分类新的人脸。 One-shot Learning一样本学习 One-shot learning 是 few-shot learning 的一个特例它更加极端。在 one-shot learning 中模型只能在单个训练样本上学习并且需要能够在测试时正确地识别或分类新的示例。One-shot learning 的一个例子是手写字符识别其中模型需要从单个示例字符中学习如何识别该字符然后用于识别其他类似字符。 Zero-shot Learning零样本学习 Zero-shot learning 是一种更具挑战性的任务。在 zero-shot learning 中模型需要能够在测试时处理从未在训练中见过的类别或样本。它需要具有泛化到全新情况的能力。通常zero-shot learning 使用属性或特征的描述来帮助模型理解新类别。例如给定一个包含动物的图像数据集模型可能没有见过一种叫做斑马的类别但可以使用属性信息例如“有条纹”来理解并识别这个类别。 思维树(Tree of Thoughts, ToT)ToT提示是一种允许复杂的、多步骤问题通过LLM来解决的方法。通过将问题的解决方案分解为个别的步骤或思维ToT提示使得可以通过多个推理线支持策略性的前瞻、回溯等进行复杂的解决方案空间探索。然后我们可以在这个框架内通过与已知的图形结构数据搜索算法的组合进行提示和自我评估来搜索问题的解决方案。思维链(Chain of Thoughts, ToT)CoT的本质是将复杂任务拆解为多个简单的子任务它指的是一个思维过程中的连续逻辑推理步骤或关联的序列是思维过程中一系列相互关联的想法、观点或概念的串联。思维链通常用于解决问题、做决策或进行推理。它可以按照逻辑顺序连接和组织思维将复杂的问题分解为更简单的步骤或概念从而更好地理解和解决问题。CoT通常只有一条解决问题的路径ToT等于是CoT的一个拓展。人类反馈训练人类反馈的强化学习RLHF
