客户端建站,wordpress 联络表单,免费下优化大师,建设工程类网站引言#xff1a;探索语言智能的新边界
在人工智能的发展历程中#xff0c;语言智能始终是一个核心的研究领域。随着大语言模型#xff08;LLM#xff09;的兴起#xff0c;我们对语言智能的理解和应用已经迈入了一个新的阶段。这些模型不仅能够理解和生成自然语言#x…引言探索语言智能的新边界
在人工智能的发展历程中语言智能始终是一个核心的研究领域。随着大语言模型LLM的兴起我们对语言智能的理解和应用已经迈入了一个新的阶段。这些模型不仅能够理解和生成自然语言还能够在多种环境中控制代理agent进行交互和决策。然而尽管LLM在理解语言和规划方面展现出了巨大的潜力它们在从经验中学习并改进行动策略方面仍存在限制。
传统的强化学习方法通过试错学习来训练代理策略但这种方法往往忽略了代理在特定环境中的先验知识。而LLM正是在这方面表现出了优势。然而直接对大规模的LLM进行策略模型微调在实践中是不切实际的因此研究者们开始探索如何将历史交互融入提示中以利用过去的经验来规划未来的行动。这些方法虽然有其局限性但也提供了新的思路。
本文提出了一种新的学习范式即通过学习扩展和精细化行动空间使任务与代理的规划能力更加紧密对齐。研究者通过适应LLM的规划来解决固定行动空间带来的限制例如常识知识引导的规划与行动之间的不匹配以及由于未满足的先决条件或无效策略导致的行动错误。研究者们的方法不仅缓解了语言代理性能的瓶颈还允许跨不同任务转移经验。
为了更具体地说明该方法研究者们将介绍LearnAct框架它旨在动态生成新的行动类型作为API并通过反馈循环不断精炼行动。实验结果表明LearnAct通过迭代精炼不仅创造了复杂且用户友好的行动类型而且相较于以往的方法实现了更有效和高效的学习。
论文标题: Empowering Large Language Model Agents through Action Learning
论文链接:https://arxiv.org/pdf/2402.15809.pdf
LearnAct框架介绍动态生成新的行动类型
1. LearnAct的核心理念与目标
LearnAct框架的核心理念是通过学习扩展和精炼行动空间从而更紧密地与代理的规划能力相结合。与传统的语言模型代理不同LearnAct不仅仅在预设的行动空间内操作而是通过经验学习自然地扩展其行动类型。
这种方法解决了固定行动空间带来的限制例如常识知识引导的规划与行动之间的不匹配以及由于未满足的先决条件或无效策略导致的行动错误。 例如在制作鸡尾酒的任务中LearnAct允许LLM自然地指导代理按特定顺序收集所有组件并混合它们而封闭的行动空间可能只涉及基本操作如移动到不同地点和抓取瓶子这大大增加了LLM代理的任务难度。
LearnAct通过动态生成新的行动类型作为API利用LLM的广泛先验知识和代码生成能力来设计一个多样化和具有代表性的行动空间。此外LearnAct的迭代学习策略通过反馈循环不断精炼行动每个周期中LLM使用训练示例评估当前行动的有效性识别并纠正失败实例中的错误。
2. LearnAct的行动类型生成与迭代学习策略
LearnAct生成新的行动类型基于原子行动以实现更具信息性和适用性的行动类似于分层强化学习中的做法。不同于传统的分层强化学习LearnAct不仅使用基于代码的行动空间提供了更强的能力还避免了严格的两级结构而是使用灵活的混合级别行动。
LearnAct的行动类型生成涉及两个步骤 首先LLM被提示总结高级行动以完成任务并以Python函数的形式为代理生成。这些函数可以调用多个基本或定义的行动来完成子任务。生成后函数被解析并添加到行动空间中。 其次生成新的行动函数后研究者更新代理关于它们潜在应用的信息。基本指令包含行动描述和使用示例更新后的策略指导包括每个函数的描述和使用示例。 图为LearnAct的训练和测试阶段示意图
在学习阶段代理首先尝试用当前可用的行动空间和策略指令解决训练集中的问题然后通过选择错误案例和行动学习操作来识别行动失败并迭代更新行动集直到成功解决所有实例中的行动错误或超过最大优化步骤。 在学习阶段代理的动作使用和动作优化被重复执行
行动学习通过实现函数更新或编写注释来解决错误函数更新精炼Python函数以纠正对任务的误解和忽视而编写注释则增强函数的描述以指导代理更准确地使用行动。
LearnAct的实验设计挑战与任务设置
1. 机器人规划任务
在机器人规划任务中研究者在四个具有挑战性的任务上进行了实验包括Gripper、Blockworld、Barman和Tyreworld。这些任务涉及长期机器人规划问题例如根据客户订单使用可用成分和容器制作鸡尾酒使用两个夹具在不同房间之间移动物体或重新排列一堆积木以达到指定的目标配置。这些任务对代理的长期规划能力提出了重大要求。
2. 家庭环境任务
研究者还在AlfWorld任务上测试了代理这些任务模拟了家庭环境中的六种目标。例如代理需要在房子里找到一个苹果加热它然后将它放在目标区域。这些任务要求代理系统地探索房子因为在代理观察到特定位置之前环境的完整状态保持未知。此外代理执行完成任务所需的基本步骤的能力至关重要。
LearnAct与现有方法的比较
1. 行动学习与语言智能的结合
LearnAct框架的提出是为了解决现有大语言模型LLM控制的语言代理在学习经验方面的局限性。 传统的强化学习范式通过试错来学习代理策略而LearnAct则通过生成新的动作类型作为API利用LLM的广泛先验知识和代码生成能力来构建一个多样化且具代表性的动作空间。 与此同时LearnAct采用迭代学习策略通过反馈循环不断完善动作。这种方法不仅创造了复杂且用户友好的动作类型而且与先前的方法如Reflexion相比实现了更有效和高效的学习。 图为不同最大学习迭代步数的性能
2. LearnAct在不同任务中的表现
在实验中LearnAct在机器人规划和AlfWorld任务中的表现明显优于其他基线模型。这表明通过在动作空间内学习LearnAct能够显著提高代理的性能。与直接在开环中生成代码的CodeAsPolicy方法和缺乏迭代动作学习的Voyager方法相比LearnAct的动作学习对于提高动作质量至关重要。
学习过程分析行动的可靠性与实用性
1. 行动学习前后的变化
通过对比学习前后动作的使用频率和准确性可以看出学习后的动作在可靠性和实用性上有了显著提升。这是因为LearnAct的学习方法专注于纠正使用过程中遇到的错误。此外动作的使用率在学习后也有所提高这可能是因为代理在认识到这些动作的有效性后更倾向于使用它们。
2. 行动学习对性能的影响
LearnAct的学习过程通过动作的可靠性和实用性提高了代理的性能。在学习迭代的过程中代理首先尝试用当前可用的动作空间和策略指令解决训练集中的问题然后通过选择错误案例和动作学习来修正错误直到成功解决所有实例或达到最大优化步骤。学习算法的各个组成部分包括更新函数和编写注释以及学习过程中的采样都对提高性能起到了关键作用。
LearnAct的学习算法功能更新与注释编写
1. 学习算法的关键组成部分
LearnAct的学习算法是一种新颖的学习范式旨在通过扩展和细化动作空间来提升LLM代理的性能。这种方法的核心在于动态生成新的动作类型这些动作类型以Python函数的形式出现利用LLM的广泛先验知识和代码生成能力来设计一个多样化且具有代表性的动作空间。
通过这种方式LearnAct不仅能够解决固定动作空间带来的限制比如常识知识引导的规划与动作之间的不匹配还能够跨不同任务转移经验。 在LearnAct的学习算法中关键的组成部分包括 动作创建通过生成新的动作函数LearnAct能够让LLM与环境更加无缝地交互。这些动作函数能够调用多个基础或已定义的动作来完成子任务从而实现更复杂的逻辑表达。 策略指令生成生成新动作函数后需要更新代理的策略指令以包含每个函数的描述和使用示例从而指导LLM在适当的场景中使用新动作。 基于错误反馈的动作学习在创建初始动作集后可能存在错误或对任务的误解。LearnAct通过试错的训练阶段让语言模型通过反馈循环不断地完善动作包括修正函数或编写注释。
2. 学习算法的实际应用与效果
LearnAct的学习算法在实际应用中展现了显著的效果。在一系列的实验中LearnAct通过迭代细化的方法不仅创建了复杂且用户友好的动作类型而且与先前的最先进方法相比实现了更有效和高效的学习。例如上文中所述的制作鸡尾酒的任务。
在机器人规划和AlfWorld任务中LearnAct的表现显著优于其他基线模型无论是使用GPT-3.5 Turbo还是GPT-4作为后端。这些结果证明了LearnAct在动作空间学习方面的重要性以及其在开发更智能和能力更强的LLM代理方面的潜力。 图为学习前后所学动作的使用频率和准确性
结论LearnAct的贡献与未来展望
LearnAct通过其创新的学习算法为大语言模型代理提供了一种新的能力通过直接与环境互动来学习和完善动作。这种开放式的动作学习方法与人类获取和增强技能的方式密切相关。实验结果表明LearnAct在机器人规划和AlfWorld环境中的成功应用凸显了动作学习在发展更智能和能力更强的LLM代理方面的巨大潜力。
未来我们期望LearnAct能够进一步提升其学习算法以更好地适应各种复杂的任务和环境。随着LLM技术的不断进步LearnAct有望在多个领域中发挥更大的作用从而推动智能代理的发展和应用。
