做网站的害处,网站的规划与建设课程设计,网站建站专业,化妆品网站建设模板目录 智能体系统的概念
规划组件
记忆组件
工具组件
案例研究 智能体系统的概念
在大语言模型#xff08;LLM#xff09;赋能的自主智能体系统中#xff0c;LLM 充当了智能体的大脑#xff0c;其三个关键组件分别如下#xff1a;
首先是规划#xff0c;它又分为以下…目录 智能体系统的概念
规划组件
记忆组件
工具组件
案例研究 智能体系统的概念
在大语言模型LLM赋能的自主智能体系统中LLM 充当了智能体的大脑其三个关键组件分别如下
首先是规划它又分为以下内容 子目标和分解。智能体将大型任务分解为更小、可管理的子目标从而高效处理复杂的任务 反思和完善智能体可以对过去的行为展开自我批评和自我反思从错误中吸取教训并针对未来的步骤进行完善提高最终结果的质量。
其次是记忆分为了短期记忆和长期记忆 短期记忆作者认为所有的上下文学习参见提示工程都是利用模型的短期记忆来学习。 长期记忆为智能体提供了长时间保留和回忆无限信息的能力通常利用外部向量存储和快速检索实现。
最后是工具使用 智能体学习调用外部 API 来获取模型权重中缺失的额外信息通常在预训练后很难更改包括当前信息、代码执行能力、对专有信息源的访问等。
下图 1 为 LLM 赋能的自主智能体系统概览。
规划组件 任务分解一项复杂的任务通常涉及许多步骤。智能体必须了解任务是什么并提前进行规划。 思维链chain-of-thought它已经成为增强复杂任务上模型性能的标准提示技术。在实现过程中模型被指示「一步一步思考」从而利用更多的测试时间计算将困难任务分解为更小、更简单的步骤。CoT 将大型任务转化为多个可管理的小任务并解释清楚模型的思维过程。 思维树tree-of-thought它通过在每一步探索多种推理可能性来扩展 CoT。首先将问题分解为多个思考步骤并在每个步骤中生成多个思考创建一种树结构。搜索过程可以是广度优先搜索BFS或深度优先搜索DFS其中每个状态由分类器通过提示或多数 vote 进行评估。 LLMP依赖外部经典规划器来进行长期规划。该方法利用规划领域定义语言PDDL作为描述规划问题的中间接口。在这一过程中LLM (1) 将问题转化为「Problem PDDL」然后 (2) 请求经典规划器基于现有的「Domain PDDL」生成 PDDL 规划最后 (3) 将 PDDL 规划转换回自然语言。 自我反思Self-reflection允许自主智能体通过完善以往行动决策和纠正以往错误来迭代改进因而会在出现试错的现实世界任务中发挥至关重要的作用。ReAct 通过将动作空间扩展为一个任务特定的「离散动作和语言空间的组合」将推理和动作集成在 LLM 中。离散动作使 LLM 能够与环境交互例如使用维基百科搜索 API而语言空间促使 LLM 以自然语言生成推理轨迹。注意这里还可以将任务分为知识密集型任务例如HotpotQA、FEVER和决策型任务例如AlfWorld Env、WebShop。 ReActReAct通过将动作空间扩展为特定于任务的离散动作和语言空间的组合在LLM中集成了推理和动作。前者使LLM能够与环境进行交互(例如使用Wikipedia搜索API)而后者促使LLM以自然语言生成推理痕迹。 ReAct模板为Thought步骤可以让整体效果更好 Thought: ... Action: ... Observation: ... ... (Repeated many times) ReflexionReflexion 框架则为智能体配备了动态记忆和自我反思能力提高了推理技能。它有一个标准的 RL 设置其中奖励模型提供简单的二元奖励而动作空间遵循 ReAct 中的设置。并且特定于任务的动作空间通过语言进行增强实现复杂推理步骤。在每个动作 a_t 之后智能体计算启发式 h_t并选择性地根据自我反思结果来决定重置环境从而开始新的试验。 Reflection框架概览 其中启发式功能Heuristic决定轨迹何时开始效率低下或包含幻觉以及何时应该停止。低效的规划是指花费太长时间而没有成功的轨迹。幻觉Hallucination被定义为遇到了一系列连续的相同动作而这些动作导致环境中出现相同的观察自我反思Reflection通过向 LLM 展示 two-shot 示例来创建每个例子都是一对失败的轨迹它们是指导未来规划中变化的理想反思。然后反思被添加到智能体的工作记忆中最多三个用作查询 LLM 的上下文。 Chain of Hindsight (CoH)鼓励模型通过显式地呈现一系列过去的输出每个输出都带有反馈注释来改进其自身的输出。
记忆组件 记忆类型分为三类感知记忆、短期记忆STM或工作记忆以及长期记忆LTM。
感知记忆这是记忆的早期阶段它能够在原始刺激结束后保持对感官信息视觉、听觉等的印象。感知记忆通常只能持续几秒钟。其子类包括图像记忆视觉、回声记忆听觉和触摸记忆触感。
短期记忆STM或工作记忆短期记忆存储着我们目前所知道的信息以及执行复杂认知任务如学习和推理所需要的信息。一般来讲短期记忆持续 20-30 秒。
长期记忆长时记忆可以将信息存储很长时间从几天到几十年不等其存储容量基本上是无限的。LTM 有两种子类型 显式、陈述性记忆这是对事实和事件的记忆指的是那些可以有意识地回忆起来的记忆包括情景记忆事件和经过和语义记忆事实和概念 隐式、程序性记忆这种类型的记忆是无意识的涉及自主执行的技能和惯例比如骑自行车或在键盘上打字。
参考人类记忆的分类我们可以得到以下映射 感知记忆作为原始输入包括文本、图像或其他模态的学习嵌入表示。 短期记忆作为上下文学习由于受到 Transformer 有限上下文窗口长度的限制短期记忆是短暂且有限的。 长期记忆作为外部向量存储智能体可以查询、快速检索从而进行访问。
工具组件
MRKLKarpas et al. 2022是一种用于自主智能体的神经 - 符号neuro-symbolic架构命名来源于模块化推理Modular Reasoning、知识Knowledge和语言Language的简称。每个 MRKL 系统包含一些「专家」模块通用 LLM 作为一个路由器负责将查询路由到最合适的专家模块。这些模块可以是神经的如深度学习模型也可以是符号的如数学计算器、货币转换器、天气 API。
HuggingGPTShen et al. 2023则是一个使用 ChatGPT 作为任务规划器的框架根据模型描述选择 HuggingFace 平台中可用的模型并根据执行结果归纳总结出响应。 案例研究 ChemCrow 是一个由大型语言模型LLM设计的化学智能体旨在完成有机合成、药物发现和材料设计等任务。通过整合 17 种专家设计的工具ChemCrow 提高了 LLM 在化学方面的性能并衍生出新的能力。 AutoGPT自主人工智能相当于给基于 GPT 的模型一个内存和一个身体。有了它你可以把一项任务交给 AI 智能体让它自主地提出一个计划然后执行计划。此外其还具有互联网访问、长期和短期内存管理、用于文本生成的 GPT-4 实例以及使用 GPT-3.5 进行文件存储和生成摘要等功能。AutoGPT 用处很多可用来分析市场并提出交易策略、提供客户服务、进行营销等其他需要持续更新的任务。
限制 有限的上下文长度LLM 处理上下文信息的能力有限尽管 self-reflection 等机制可以从过去的错误中学习但更长或无限的上下文窗口将会带来很大的好处。虽然向量存储和检索可以提供对更大知识库的访问但它们的表示能力不如全注意力full attention强大。 LLM 在长期规划和任务分解中的挑战LLM 在面对意外错误时很难调整规划并进行改正与人类可以不断试错相比LLM 鲁棒性还是比较差的。 自然语言接口的可靠性当前的智能体系统依赖于自然语言作为 LLM 与内存和工具等外部组件之间的接口。然而模型输出的可靠性是值得怀疑的因为 LLM 可能会出现格式错误偶尔还会表现出叛逆行为例如拒绝遵循指令。
