淘宝客不做网站可以做么,响应式网站管理系统,优化是什么梗 棍勇,网站维护的主要工作每周跟踪AI热点新闻动向和震撼发展 想要探索生成式人工智能的前沿进展吗#xff1f;订阅我们的简报#xff0c;深入解析最新的技术突破、实际应用案例和未来的趋势。与全球数同行一同#xff0c;从行业内部的深度分析和实用指南中受益。不要错过这个机会#xff0c;成为AI领… 每周跟踪AI热点新闻动向和震撼发展 想要探索生成式人工智能的前沿进展吗订阅我们的简报深入解析最新的技术突破、实际应用案例和未来的趋势。与全球数同行一同从行业内部的深度分析和实用指南中受益。不要错过这个机会成为AI领域的领跑者。点击订阅与未来同行 订阅https://rengongzhineng.io/ 引言
经过广泛训练的预训练模型如 Meta Llama 2可以对各种问题生成有用的回答。然而许多应用场景要求模型针对特定领域进行专业化并在生成回答时利用领域特定的信息。
目前有两种方法可以实现
1. 领域特定的监督微调DSF
在一组代表领域知识的文档上对现有基础模型进行训练。 2. 检索增强生成RAG
将这些文档存储在向量数据库中在查询时检索与问题语义相似的文档并将其内容作为 LLM 生成回答的上下文。
本文将探讨这两种方法的局限性并介绍加州大学伯克利分校的研究人员 Tianjun Zhang 和 Shishir G. Patil 提出的一种更优方法。他们提出的 RAFT 方法Retrieval Augmented Fine Tuning检索增强微调在论文中详细阐述展示了如何使用 Meta Llama 2 和 Azure AI Studio 上的 MaaS 进行研究和实施。
伯克利团队还发表了一篇博客文章详细解释了前述方法的优缺点以及 RAFT 方法如何实现更高效的结果。其 RAFT 实现已在 GitHub 仓库公开。
了解 RAFT 方法
在传统 RAG 中当模型接到查询时它会从索引中检索可能包含答案的文档并使用这些文档的内容作为生成回答的上下文。
在微调的情况下模型回答问题类似于学生在闭卷考试中作答而 RAG 则类似于学生参加开卷考试有完整的教科书可供查阅。开卷考试比闭卷考试更容易因此 RAG 的效率和普及度较高。
然而这两种方法都有其局限性。微调让模型只限于它所接受的训练内容并且容易出现偏差和幻觉。RAG 将模型的回答与语料库中的参考文档相结合但这些参考文档是根据查询的语义相似性检索的模型并不知道哪些文档真正相关哪些只是干扰项。这些“干扰”文档可能会被纳入模型的上下文即使它们无法提供准确答案的参考。
Tianjun 和 Shishir 希望改进 RAG 的不足之处。他们假设提前学习教科书的学生在开卷考试中比只在考试期间翻阅教科书的学生表现更好。对于 LLM 来说如果模型能够提前“学习”文档内容RAG 的表现是否会有所提高他们的 RAFT 方法旨在使模型在 RAG 设置之前先适应特定领域。
他们使用 Meta Llama 2 7B 语言模型首先准备一个合成数据集其中每个样本包含
- 一道问题- 一组参考文档包括包含相关信息的文档和不包含任何相关信息的文档可忽略- 从文档中生成的答案- 包含相关文档摘录的 Chain-of-ThoughtCoT解释
该数据集用于使用标准监督训练对 Meta Llama 2 7B 进行微调使模型更好地适应领域不仅能够将语气和风格与领域数据集保持一致还能更好地从检索的上下文中提取有用信息。Chain-of-Thought 推理的加入防止了过拟合提高了训练的稳健性。
RAFT 处于 RAG 和 DSF 之间。它既让 LLM 适应领域知识和风格类似 DSF又提高了生成答案的质量。由于像 Meta Llama 2 这样的预训练模型在多样化领域进行了训练RAFT 可以使它们更适合医疗保健或法律数据集等小众领域。
与 RAFT 研究人员的问答
我们有幸采访了伯克利团队了解他们在 RAFT 中使用 Meta Llama 2 的经验。
为什么选择 Meta Llama 2 7B
**RAFT 研究人员**我们选择 Meta Llama 2 7B 是因为我们专注于 RAG 任务该任务需要模型具备推理、理解语言、低延迟推理的能力并能够轻松适应多种环境。Meta Llama 2 7B 很适合许多通用知识问答任务具备良好的数学技能并且能够处理 4096 令牌的上下文长度。它也是一个适合在四个 A100-40G GPU 上训练、单个 GPU 上服务的完美模型。在性能和部署难度的帕累托曲线上Meta Llama 2 模型在性能、易用性和许可方面都非常适合 RAFT 任务。在微软 AI Studio 的帮助下我们也很高兴探索 Meta Llama 2 13B 或 Meta 70B。
**对于尝试微调 Meta Llama 的人有什么建议在微调 LLM 过程中有哪些最佳实践**
**RAFT 研究人员**微调 Meta Llama 通常是一项复杂的任务包括数据收集、数据清理和实际微调。在数据方面我们建议针对您的领域收集各种问题并构建 Chain-of-ThoughtCoT答案详见我们的 RAFT 论文。我们还建议存储中间检查点这有助于提前停止微调。设定比预训练时低一个数量级的微调学习率也很关键。此外通常的最佳实践如 16 位精度、不超过 3 轮训练以及使用大批量大小也都值得推荐。
**微调是否应针对每个领域或者微调后的模型是否在多个领域的 RAG 中表现更好**
**RAFT 研究人员**微调模型的性能取决于领域它所训练的文档但在一定程度上可以在行为上跨领域泛化。准确性与泛化之间存在一定的权衡。通常针对某一领域进行微调是个好做法但针对有限的企业文档进行微调可能会带来更好的表现因为其知识范围更狭窄。
**总结**
RAFT 方法在语言模型微调领域取得了重大进展不仅提高了生成答案的质量还增强了模型从检索上下文中提取有用信息的能力。因此它在许多领域的未来应用中具有巨大潜力。
在这项研究中使用 Meta Llama 2 7B 语言模型展示了其在处理多样任务时的多功能性和适应性。团队的经验和建议为那些希望微调 Meta Llama 或类似模型的研究者提供了宝贵的见解。
Azure AI Studio 进一步让最先进的生成式 AI 功能更容易获取。该平台简化了微调、测试和部署流程使开发人员和企业无需深入的机器学习知识即可创建创新且定制化的解决方案。
**了解更多 RAFT 和 Meta Llama 在 Azure 模型即服务MaaS上的信息**
- 关于 Meta Llama 的更多信息[Llama.meta.com](https://llama.meta.com)- Azure AI Studio 上的 Llama-2-7b-chat : Azure AI Studio- 在 Azure 上微调 Meta Llama 2在 Azure AI Studio: Fine-tune a Llama 2 model in Azure AI Studio - Azure AI Studio | Microsoft Learn 中微调 Llama 2 模型或访问他们的技术博客
