哪里教做网站的,宁波网站搜索引擎优化,如何免费建立一个网站,深圳网站设计公司哪种介绍
在快速发展的生成式人工智能领域#xff0c;某些流行术语已变得司空见惯#xff1a;“提示工程”、“函数调用”、“RAG”和“微调”#xff0c;你应该也经常遇到这些术语#xff0c;但你是否能够理清这些概念之间的关系#xff1f;这些其实都是一些大模型的应用策略…介绍
在快速发展的生成式人工智能领域某些流行术语已变得司空见惯“提示工程”、“函数调用”、“RAG”和“微调”你应该也经常遇到这些术语但你是否能够理清这些概念之间的关系这些其实都是一些大模型的应用策略和技术本文将描述每个 LLM 策略的作用以及它们之间的关系并简单介绍如何在它们之间选择最佳的用例。
回顾 LLM 的运作方式
在进一步讨论之前让我们简单回顾一下 LLM 如何产生输出结果。
通俗地说这就像完成完形填空一样 给定一个单词序列LLM 会查阅词典中的所有单词并评估每个单词作为下一个单词出现的可能性 最有可能的单词将被选中并用于填空 重复上述步骤直到没有更多空间可以填写 LLM 如何产生结果
更深入地为了进行这些“完形填空”LLM经历了一个训练过程即阅读所有人类知识并记录将每个 token 视为下一个 token 的可能性。注意1 个 token 代表一个或多个单词
LLM 生成“完形填空”测试结果的过程就是“推理”过程。
训练和推理是使LLM能够按预期发挥作用的两个核心过程。
这也解释了为什么有时 LLM 会自信地说错话——它所训练的人类知识可能没有包含我们希望它谈论的主题的足够信息。
因此为了使 LLM 能够正常运作我们需要向 LLM 提供更多有关主题的背景有用信息。
所有策略包括函数调用、RAG 和微调都是围绕这一点展开的。它们是为 LLM 提供更多上下文有用信息的不同方法。
这些策略有哪些它们之间有何关系 纯粹的提示
第一个策略是纯粹的提示。从名称上就可以看出这个策略是如何运作的
你向 LLM 发出查询LLM 给出了答案
这其实就是“聊天”。你和 LLM 聊天就像和另一个人聊天一样。
当我们与 LLM 驱动的聊天机器人例如 ChatGPT、Gemini 和 Copilot聊天时我们每天都会使用此策略。
2.代理函数调用 第二种策略是 Agent 加函数调用。
此策略的工作原理如下 你向 LLM发出查询 LLM 不会直接回答你而是会参考给定的工具包从中选择一个工具来先执行一些任务 为什么 LLM 会这样做可能是因为它需要一些额外的信息或者在回答你的问题之前需要满足一些先决条件。 这里的工具包是预先编写的函数或 API 调用的列表 LLM 将决定它想要使用的工具并返回该工具的名称即函数名称 收到工具名称函数名称后使用该工具即调用函数执行LLM所需的任务并获取一些有用的信息。 您将有用的信息传回给 LLMLLM 会使用它来生成对您原始查询的响应
如果这听起来仍然很抽象让我们举一个例子
你以旅行社的身份向 LLM 发出查询例如“为我规划一次即将到来的圣诞节假期巴厘岛之旅”LLM 认为为了给你安排一个好的旅行它首先需要你的预算信息。它参考了包含 get_budget()、get_destination_info()、get_weather() 等多个工具的给定工具包并决定使用名为 get_budget() 的工具。收到建议的工具名称后您作为应用程序调用该函数get_budget()。假设它返回给您1000 元的预算。你把1000元的预算信息传递给LLMLLM会根据你的预算为你生成一份旅行计划清单
注意函数调用绝对不仅限于单个函数。在此示例中LLM 可能决定它还需要天气信息和目的地信息因此它可能会选择其他工具。将调用哪些函数get_destination_info()以及get_weather()调用多少个函数取决于不同的因素其中包括
工具包中提供了哪些功能上下文包括系统提示、用户提示和历史用户信息等等
您可能已经注意到这个过程涉及LLM提供任何可能的答案以及函数/API 调用带有预设逻辑。
与使用硬编码逻辑例如 if else来决定何时调用哪个函数/API 的传统方法不同此过程利用 LLM 的强大功能根据上下文动态地决定何时调用哪个函数/API。
而且不同于单纯的提示这个过程使得LLM能够通过函数/API调用与外部系统集成。
3. RAG检索增强生成 第三个策略是RAG。
除了上面 Agent Function Calling 中提到的函数/API工具包之外我们还可以为LLM提供一个知识库知识库一般通过向量数据库来实现。
构建知识库
我们收集与某些主题相关的文件以便 LLM 能够准确地讨论这些主题我们把它们分成更小的块然后我们为每个块创建嵌入即数字表示并将它们存储在向量数据库中
这个策略的工作原理如下
你向 LLM发出查询应用程序将从知识库中检索与用户查询最相关的信息。这就是“检索”的过程
检索到的信息将成为传递给 LLM 的最终提示的一部分。这是“增强”的过程增强提示
LLM 根据最终提示生成答案。这是“生成”的过程
4. 微调 第四个策略是微调。
就像编写函数一样有两种方法可以将变量传递给它:
一是从参数中传入变量以便可以在运行时获取它二是将其作为函数内的局部变量。
类似地我们在上面的 RAG 策略中作为运行时提示传入的上下文知识也可以在模型训练期间将其嵌入其中。这就是微调的情况。
想象一下一家专门从事制药业的公司可能拥有庞大的知识库但公众对此并不知情。在这种情况下该公司可以选择基础大模型 (LLM)并通过将知识库嵌入新模型本身来对其进行微调。
何时使用哪种策略
下图不是黄金法则但可以提供一些指导 虽然微调看起来像是最终的解决方案但它通常成本更高且需要付出更多努力。
考虑到 RAG 的核心优势您可能会发现RAG足以解决 70% 到 80% 的用例
易于保持最新因为我们只需要保持文档和矢量数据库为最新降低成本
可能考虑微调的场景
模型输出的稳定性至关重要在用户数量庞大的情况下优化推理成本意义重大LLM 的生成速度具有重要意义私人托管是必须的
如何学习大模型
现在社会上大模型越来越普及了已经有很多人都想往这里面扎但是却找不到适合的方法去学习。
作为一名资深码农初入大模型时也吃了很多亏踩了无数坑。现在我想把我的经验和知识分享给你们帮助你们学习AI大模型能够解决你们学习中的困难。
我已将重要的AI大模型资料包括市面上AI大模型各大白皮书、AGI大模型系统学习路线、AI大模型视频教程、实战学习等录播视频免费分享出来需要的小伙伴可以扫取。 一、AGI大模型系统学习路线
很多人学习大模型的时候没有方向东学一点西学一点像只无头苍蝇乱撞我下面分享的这个学习路线希望能够帮助到你们学习AI大模型。 二、AI大模型视频教程 三、AI大模型各大学习书籍 四、AI大模型各大场景实战案例 五、结束语
学习AI大模型是当前科技发展的趋势它不仅能够为我们提供更多的机会和挑战还能够让我们更好地理解和应用人工智能技术。通过学习AI大模型我们可以深入了解深度学习、神经网络等核心概念并将其应用于自然语言处理、计算机视觉、语音识别等领域。同时掌握AI大模型还能够为我们的职业发展增添竞争力成为未来技术领域的领导者。
再者学习AI大模型也能为我们自己创造更多的价值提供更多的岗位以及副业创收让自己的生活更上一层楼。
因此学习AI大模型是一项有前景且值得投入的时间和精力的重要选择。
