做会计要经常关注哪些网站,做网站花了2万多,怎么做网页模板展示网站,深圳网站建设案为什么我们需要微调#xff1f;
微调有利于提高模型的效率和有效性。它可以减少训练时间和成本#xff0c;因为它不需要从头开始。此外#xff0c;微调可以通过利用预训练模型的功能和知识来提高性能和准确性。它还提供对原本无法访问的任务和领域的访问#xff0c;因为它…
为什么我们需要微调
微调有利于提高模型的效率和有效性。它可以减少训练时间和成本因为它不需要从头开始。此外微调可以通过利用预训练模型的功能和知识来提高性能和准确性。它还提供对原本无法访问的任务和领域的访问因为它允许将预先训练的模型转移到新场景。换句话说这一切都是为了获得更好的结果、减少奇怪的输出、更好地记住数据以及节省时间和金钱。
虽然微调也可用于使用外部数据“增强”模型但微调可以通过多种方式补充RAG
Embedding微调的好处
微调Embedding模型可以在数据训练分布上实现更有意义的Embedding表示从而带来更好的检索性能。
LLM微调的好处
允许它学习给定数据集的风格允许它学习训练数据中可能较少出现的 DSL例如 SQL允许它纠正可能难以通过提示工程修复的幻觉/错误允许它将更好的模型例如 GPT-4提炼成更简单/更便宜的模型例如 GPT-3.5、Llama 2
简而言之微调有助于更好的相似性搜索这是获取正确数据以及生成正确答复所必须的前提。
微调主要有两种类型。第一个是微调Embedding目的是提高数据检索的准确性第二个是微调LLM将领域知识注入到现有的LLM中。第一个是 RAG 特定的而第二个是通用的。
微调Embedding
大型语言模型 (LLM) 可以处理广泛的任务包括情感分析、信息提取和问答。正确的架构、深思熟虑的训练过程以及整个互联网训练数据的可用性结合在一起使它们能够胜任某些任务。
LLM经过训练可以使用这些大量数据在许多领域进行泛化产生一个总体上很优秀但缺乏特定领域知识的模型。这时微调就变得很重要。
微调过程涉及更改语言模型以更好地适应数据领域。例如想要处理大量有关患者的医院文书工作因此可能希望将LLM专门研究这些类型的文本。
LlamaIndex 关于微调Embedding的包含三个主要步骤
从数据生成综合问题-答案pari对数据集微调模型评估模型
微调Embedding
步骤总结
切分训练集和验证集使用LlamaIndex内置函数generate_qa_embedding_pairs生成训练数据集的问题/答案。此步骤将调用 LLM 模型默认使用 OpenAI可以替换为自己本地模型例如ChatGLM、baichuan来生成合成数据集使用SentenceTransformersFinetuneEngine与HuggingFace模型“m3e”模型进行微调。m3e模型可以提前下载到本地避免网络访问的错误问题。 使用hit rate 指标进行评估。
微调Adapter
这是微调Embedding的升级版本。基本的微调Embedding只需使用SentenceTransformersFinetuneEngine提供的开箱即用的功能即可。如果熟悉神经网络那么layer、loss和 ReLU 等都不陌生。这个Adapter就是这样让我们能够更好地控制微调过程。
步骤总结
与微调Embedding的步骤 1 类似切分训练集和验证集类似于微调Embedding的步骤 2构建合适的数据集使用 EmbeddingAdapterFinetuneEngine 而不是使用 SentenceTransformersFinetuneEngine 。可以使用预定义的TwoLayerNN将图层作为参数添加到EmbeddingAdapterFinetuneEngine中如下所示 与基本微调Embedding的步骤4类似
Router微调
我自己并不经常使用这种微调这种类型的微调对于router查询很有用。但路由器查询是非常特定于数据域的添加这种Embedding只会增加 RAG 的复杂性。
路由器的快速总结不能扔一堆文档进行Embedding然后在其上构建检索。这种方法不会给你带来任何好的结果甚至是一个不可接受的结果。因此 LlamaIndex 引入了一个奇妙的概念称为 Router。路由器是 LLM 实现自动化决策的重要一步这本质上将 LLM 视为分类器 但是基础路由器有时很差劲查询和索引之间的匹配率非常低。为了解决这个问题LlamaIndex 现在可以微调路由器。这将有助于减少每个查询运行的循环数量因此期望结果更快。但结果有时还是很可怕。
基本上对于每个文档在其上构建多个索引例如 VectorIndex、SummaryIndex、KeywordIndex 等然后给出每个索引的元数据或描述然后在此基础上构建代理并使用元数据描述来告诉 LLM这个代理是做什么的。如果有 100 万份文档那么就有 100 万个代理。每次进行查询时LLM 都需要通过 100 万个代理来找出最适合用来回答问题的代理。因此它是非常慢的。为了解决这个问题LlamaIndex 将当前版本升级到另一个版本该版本基本上是在文档工具检索期间重新排名代理可以用来规划的查询规划工具。
仅当设计的 RAG 系统以路由器为中心时否则ReAct 代理或多代理是更好的方法。
Cross-Encoder微调
简而言之Bi-Encoder 就是使用双编码器将句子 A 和句子 B 转换为句子Embedding A1 和句子Embedding B1。然后可以使用余弦相似度来比较这些句子Embedding。 相反对于交叉编码器我们将两个句子同时传递到 Transformer 网络。它产生一个介于 0 和 1 之间的输出值表示输入句子对的相似度
交叉编码器不会产生句子Embedding。此外我们无法将单个句子传递给交叉编码器。
交叉编码器比双编码器具有更好的性能。然而对于许多应用来说它们并不实用因为它们不产生Embedding我们可以使用余弦相似度进行索引或有效比较。 交叉编码器比双编码器具有更高的性能但是它们对于大型数据集的扩展性不佳。在这里结合交叉编码器和双向编码器是有意义的例如在信息检索/语义搜索场景中首先使用高效的双向编码器来检索查询的前 100 个最相似的句子。然后使用交叉编码器通过计算每个查询、命中组合的分数来重新排名这 100 个命中。
微调LLM
因此已经完成了Embedding的微调如上所述微调Embedding有助于提高数据检索的准确性。如果是这样我们是否需要对LLM进行微调
因为并非每次都需要 RAG。开发功能齐全的 RAG 每一步都很复杂。拥有一个好的RAG应用程序需要一个由优秀的软件工程师组成的团队来开发前端和可扩展的后端优秀的数据工程师来处理用于开发RAG的数据管道和多个数据库一些优秀的机器学习工程师数据科学家开发模型并对文本块、Embedding性能、良好的数据检索方法进行实验然后合成数据、路由器、代理等。更不用说将需要良好的 MLOps 来监控 RAG 的性能。
如果可以通过在新数据上逐步微调 LLM 来简化所有这些方法会怎么样使其成为 ChatGPT但根据自己的数据进行微调。会更容易吗
大多数LLM/RAG以PoC为主。它可以处理小数据集并在非常特定的情况下处理得很好但很难扩展或处理现实生活中的用例。
但我们假设有资金定期调整LLM课程。我们该怎么做呢
LlamaIndex 有多种选项可以帮助微调的LLM。主要目的是改进较小模型以超越较大参数规模模型。假设 GPT-4 对你的应用程序来说非常好但它会让公司破产因为它很昂贵。GPT-3.5 更便宜性能也可以接受但希望 GPT-4 的性能让的客户满意。那么你可能会想到微调LLM。
为什么要微调LLM
如前所述微调不仅可以提高基本模型的性能而且较小微调的模型通常可以在训练它的任务集上胜过较大更昂贵的模型。OpenAI 通过其第一代“InstructGPT”模型证明了这一点其中 1.3B 参数 InstructGPT 模型补全优于 175B 参数 GPT-3 基本模型尽管其尺寸要小 100 倍。
其中一大问题是LLM的背景知识是有限的。因此该模型可能在需要大量知识库或特定领域信息的任务上表现不佳。微调模型可以通过在微调过程中“学习”这些信息或者换句话说使用最新数据更新模型来避免此问题。GPT-4 仅拥有 2023年3月之前的知识。微调 LLM 将使用的私人数据更新模型并减少幻觉也不需要 RAG因为微调 LLM 已经更新了的数据。
改进 RAG 很困难有多个步骤根据我的经验可以显着改进 RAG 的最重要步骤是文本块和Embedding。因此微调Embedding模型是必要的但是不是必须的步骤。此外微调LLM将更新现有LLM的行为从而减少响应中的幻觉并提供更好的综合答案。
如何学习大模型
现在社会上大模型越来越普及了已经有很多人都想往这里面扎但是却找不到适合的方法去学习。
作为一名资深码农初入大模型时也吃了很多亏踩了无数坑。现在我想把我的经验和知识分享给你们帮助你们学习AI大模型能够解决你们学习中的困难。
我已将重要的AI大模型资料包括市面上AI大模型各大白皮书、AGI大模型系统学习路线、AI大模型视频教程、实战学习等录播视频免费分享出来需要的小伙伴可以扫取。 一、AGI大模型系统学习路线
很多人学习大模型的时候没有方向东学一点西学一点像只无头苍蝇乱撞我下面分享的这个学习路线希望能够帮助到你们学习AI大模型。 二、AI大模型视频教程 三、AI大模型各大学习书籍 四、AI大模型各大场景实战案例 五、结束语
学习AI大模型是当前科技发展的趋势它不仅能够为我们提供更多的机会和挑战还能够让我们更好地理解和应用人工智能技术。通过学习AI大模型我们可以深入了解深度学习、神经网络等核心概念并将其应用于自然语言处理、计算机视觉、语音识别等领域。同时掌握AI大模型还能够为我们的职业发展增添竞争力成为未来技术领域的领导者。
再者学习AI大模型也能为我们自己创造更多的价值提供更多的岗位以及副业创收让自己的生活更上一层楼。
因此学习AI大模型是一项有前景且值得投入的时间和精力的重要选择。
