网站seo策划方案实例,wordpress很卡,wordpress备案显示,商品展示型网站有哪些【摘要】
本文研究了预训练的语言模型#xff08;LLMs#xff09;能否被用来执行在交互式环境中的任务。作者发现#xff0c;尽管LLMs在生成高阶任务的行动计划时可能无法做到完全精确定义#xff0c;但通过适当提示#xff0c;大型预训练语言模型可以分解高阶任务到中阶…【摘要】
本文研究了预训练的语言模型LLMs能否被用来执行在交互式环境中的任务。作者发现尽管LLMs在生成高阶任务的行动计划时可能无法做到完全精确定义但通过适当提示大型预训练语言模型可以分解高阶任务到中阶计划。然而这些计划往往不能直接映射到可执行的动作。作者提出了一种程序将现有演示和语义翻译结合以生成可执行的动作。在VirtualHome环境中这种方法相比LLM基线显著提高了可执行性。尽管在执行性上有所提升但正确性有所下降这表明提取可执行知识的潜力。
具体任务案例
任务刷牙详细步骤去浴室 - 走到洗脸盆 - 找到牙刷 - 拿起牙刷 - 在嘴边刷牙两分钟 - 吐出口腔清洁剂 - 将牙刷放入水槽 - 开水龙头 - 用水冲洗牙刷一分钟 - 关水龙头 - 回到衣柜任务扔掉废纸详细步骤走到家庭办公室 - 走到桌子 - 找到桌子 - 转向桌子 - 找到椅子 - 坐在椅子上 - 找到支票 - 抓起支票 - 挤压支票 - 站起来 - 走到垃圾桶 - 将支票放在垃圾桶 - 打开水龙头 - 用水冲洗支票一分钟 - 关闭水龙头 - 回到椅子上任务取一杯牛奶详细步骤走到厨房 - 打开冰箱 - 拿起牛奶 - 关上冰箱 - …
总结
作者发现大型预训练语言模型可以在不经过进一步训练的情况下生成合理的目标驱动行动计划但这些计划在交互环境中往往不可执行。提出了一种将生成的行动计划翻译成可执行动作的方法显著提高了行动计划的可执行性但同时也降低了正确性。通过这种方法研究者展示了将语言模型中的知识应用于交互环境的潜力。
这些发现表明通过适当的提示和翻译预训练的语言模型可以生成在交互环境中可执行的行动计划但同时也需要权衡正确性和执行性之间的关系。
【数据来源】
论文《语言模型作为零样本规划者从自然语言提取可执行知识以实现具身代理》的数据来源总结
论文信息
作者Wenlong Huang, Pieter Abbeel, Deepak Pathak, Igor Mordatch机构加州大学伯克利分校谷歌摘要本文探索了是否可以将大型语言模型LLMs学到的世界知识用于交互环境中的行动。研究发现如果预训练的大型语言模型足够大且提示适当它们可以在没有进一步训练的情况下将高层任务分解为中层计划。然而模型生成的计划往往是不可执行的作者提出了一种方法通过现有演示文稿和语义翻译将计划转化为可执行的动作。评价结果显示该方法在环境中的可执行性显著提高。
数据来源和实验环境 实验环境VirtualHome VirtualHome可以模拟各种现实的人类活动并支持通过具身动作以动词-对象语法形式定义执行这些活动。该环境用于评估生成的行动计划的可执行性和正确性。 数据集 ActivityPrograms数据集包含2821个由亚马逊众包工人标注的任务每个任务包含详细步骤和执行步骤的程序。评估任务使用这些任务进行评估包括生成动作计划的正确性和可执行性。
实验数据 实验方法 从预训练的语言模型查询动作计划。通过语义翻译将不可执行的动作转化为可执行的动作。自回归轨迹校正。动态示例选择以提高知识提取。 实验结果 大型语言模型如GPT-3可以生成高度现实的动作计划但这些计划在交互环境中往往是不可执行的。通过语义翻译可显著提高计划的可执行性但会牺牲正确性。人工评估结果显示生成的计划在正确性和可执行性之间存在权衡。
实验任务示例 任务1刷牙 GPT-2 1.5BTask: Brush teeth
Step 1: Walk to bathroom
Step 2: Walk to sink
Step 3: Find toothbrush
Step 4: Pick up toothbrush
Step 5: Put toothbrush in mouth
...Codex 12BTask: Brush teeth
Step 1: Walk to bathroom
Step 2: Open door
Step 3: Walk to sink
...任务2扔掉纸张 GPT-3 175BTask: Throw away paper
Step 1: Walk to home office
Step 2: Walk to desk
Step 3: Find desk
Step 4: Turn to desk
...任务3拿玻璃牛奶 GPT-3 175BTask: Get Glass of Milk
Step 1: Walk to Kitchen
Step 2: Open Fridge
Step 3: Grab Milk
Step 4: Close Fridge总结 主要贡献 大型语言模型可以在没有额外训练的情况下生成合理的高层任务动作计划但这些计划在交互环境中往往不可执行。提出了一种方法通过语义翻译将不可执行的动作转化为可执行的动作显著提高了计划的可执行性。人工评估显示在可执行性和正确性之间存在权衡。 未来工作 考虑进一步改进生成可执行计划的方法如更精细的语义翻译和动态示例选择。探索将这些知识应用于更复杂的任务和环境。
以上是对论文《语言模型作为零样本规划者从自然语言提取可执行知识以实现具身代理》的数据来源和实验方法的总结。
【模型架构】
论文《Language Models as Zero-Shot Planners: Extracting Actionable Knowledge for Embodied Agents》主要研究了如何利用大型语言模型LLMs生成执行任务的步骤计划使得这些计划能够用于交互式的、具身的环境。通过虚幻家居VirtualHome环境进行评估发现大型语言模型能够生成合理且实用的计划但这些计划在某些方面如可执行性仍需要改进。以下是论文的主要内容总结
1. 背景和研究问题
1.1 背景
大型语言模型如GPT-3和Codex在近几年取得了显著的进步能够处理复杂的自然语言任务。这些模型被训练于大规模语料库被认为包含了大量的世界知识但这些知识主要以语言的形式存在。作者研究问题如何利用这些模型中的世界知识来生成执行具体任务的步骤计划特别是在交互式的、具身的环境中。
2. 方法
2.1 查询语言模型生成步骤计划
使用大型语言模型生成步骤计划的基本方法。通过示例任务描述和步骤计划来查询模型生成可能的步骤计划。
2.2 语义翻译解析可执行动作
由于直接生成的计划可能无法精确映射到可执行的动作提出使用语义翻译将计划转换为具体的可执行动作。
2.3 自回归轨迹修正
在生成整个计划后进行逐步修正自动调整生成的步骤以确保其可执行性。
2.4 动态示例选择以提高知识提取
在提取知识时通过动态选择最相似的任务示例来改进知识提取过程。
3. 实验设计
3.1 评估框架
环境使用VirtualHome环境进行评估。评估指标可执行性和正确性。
4. 实验结果
4.1 大型语言模型是否包含可执行的知识
大型语言模型在生成可执行的步骤计划方面表现出色但这些计划在某些任务上可能不可执行。
4.2 可执行性如何
大型语言模型生成的计划在可执行性方面表现较好但正确性可能较低。
4.3 能否通过提出的程序使计划可执行
通过语义翻译和自回归修正可以显著提高计划的可执行性但正确性可能降低。
5. 分析与讨论
5.1 设计决策的消融分析
通过消融实验分析不同技术对生成计划质量的影响。
5.2 计划是否符合环境
评估生成的计划是否符合环境中的实际操作。
5.3 不同翻译模型的影响
探讨不同翻译模型对生成计划质量的影响。
5.4 大型语言模型能否通过逐步指令生成可执行程序
通过逐步指令指导模型生成可执行程序。
6. 相关工作
概述了已有研究中利用语言模型生成执行计划的方法。
7. 结论、局限性和未来工作
进一步研究方向及未来工作展望。
8. 附录
详细描述了实验参数搜索、人工评估细节、评估的所有任务、自然语言模板以及随机生成的计划样本。
9. 总结
提出了基于大型语言模型生成执行任务步骤计划的方法通过语义翻译和自回归修正显著提高了生成计划的可执行性但正确性可能有所下降。
【创新点】
该论文的主要创新点可以总结如下 零样本规划能力提出了一种通过预训练语言模型LLMs来执行复杂任务的零样本规划方法。具体来说论文展示了如何将高层次任务如“做早餐”分解成一系列可执行的动作步骤如“打开冰箱”而无需额外的训练。这一方法揭示了LLMs从文本中提取实际可执行知识的可能性。 改善生成计划的执行性论文提出了一套工具通过翻译和调整语言模型生成的不可执行步骤显著提高了生成计划的执行性。具体包括 语义翻译将模型生成的不可执行动作步骤映射到可执行的动作。自回归轨迹矫正通过逐步修正生成的计划来确保每一步都是可执行的。动态示例选择通过提供与查询任务类似的任务示例来促进知识提取。 评估方法通过机械 Turk 人工评估来衡量生成计划的执行性和正确性之间的权衡。这种方法不仅展示了人工评估的必要性也为后续研究提供了基准。 实验结果实验结果表明尽管生成的计划在某些情况下不如人类编写得完美但它们的执行性得到了显著提高。这表明通过适当的方法可以将LLMs的知识高效地应用到执行任务中。 环境中的实际应用论文通过虚拟家庭环境VirtualHome的实验展示了如何将LLMs的知识应用到实际的交互式环境中从而提高了任务执行的成功率。 改进空间虽然方法取得了显著进展但仍存在一些改进空间如正确性略有下降以及处理某些特定任务时执行性不足等问题。这为未来的改进和研究提供了方向。
这些创新点为使用预训练语言模型执行复杂任务提供了新的技术路径并展示了其实现可行性和潜在应用价值。
【应用场景】
该论文探讨了如何利用预训练的语言模型LLMs来解决交互环境中的任务规划问题。具体来说研究者试图从LLMs中提取可用于执行复杂人类活动的指令性知识。以下是对论文主要技术应用场景的中文描述
应用场景描述
1. 预训练语言模型作为零-shot规划器
任务背景研究者利用预训练的语言模型如GPT-2, GPT-3, Codex等来生成能够执行复杂任务的指令性计划。这些模型在没有任何进一步训练的情况下能够将高层次的任务如“做早餐”分解成一系列可执行的动作步骤如“打开冰箱”。环境研究使用了VirtualHome环境来模拟家庭环境中的各种活动。该环境支持通过文本指令来执行操作这些操作是由一系列动词和对象组成的。具体任务示例 任务1刷牙 预训练GPT-2 1.5B: 步骤1: 走向浴室步骤2: 走向水槽步骤3: 找到牙刷步骤4: 拿起牙刷步骤5: 将牙刷放入嘴里刷牙两分钟步骤6: 吐出牙膏并将牙刷放入水槽 预训练Codex 12B: 步骤1: 走向浴室步骤2: 打开水门步骤3: 走向水槽步骤4: 将锅放在水槽上步骤5: 将牙刷放在牙刷上步骤6: 走向牙膏步骤7: 将牙膏放在牙刷上步骤8: 走向牙齿步骤9: 将牙齿放在牙刷上 任务2扔掉纸张 预训练GPT-3 175B: 步骤1: 走向家庭办公室步骤2: 走向书桌步骤3: 找到书桌步骤4: 转向书桌步骤5: 找到椅子步骤6: 坐在椅子上步骤7: 找到支票步骤8: 拿起支票步骤9: 挤压支票步骤10: 站起来步骤11: 走向垃圾桶步骤12: 将支票放在垃圾桶上
2. 提高指令生成的可执行性
研究者提出了一系列技术来提高生成指令的可执行性这些技术包括 步骤1基于现有示范和语义翻译生成可执行步骤这种方法通过将预训练模型的输出与环境中的可执行动作进行语义对齐来生成更精确的指令。步骤2动态示例选择这种方法通过利用预训练模型中的现有知识来提高指令生成的准确性。具体做法是选择与查询任务最相似的示例来生成指令。 具体示例这些技术显著提高了指令生成的可执行性但同时也影响了指令的正确性。例如通过这些技术生成的指令从18%的可执行性提高到了79%。
3. 任务举例
任务1完成亚马逊土耳其调查 步骤1走向家庭办公室步骤2打开电脑步骤3找到电脑步骤4启动电脑步骤5找到键盘步骤6在键盘上打字 任务2获取一杯牛奶 步骤1走向厨房步骤2打开冰箱步骤3拿起牛奶步骤4关闭冰箱
总结
该研究展示了预训练的语言模型能够在没有任何进一步训练的情况下生成可用于执行复杂任务的指令性计划。通过一系列技术改进该研究显著提高了生成指令的可执行性但同时也引入了一些正确性方面的妥协。这些技术对于将语言模型应用于交互式环境中的任务规划和执行具有重要意义。
【未来展望】
技术未来展望语言模型作为零样本规划者从自然语言提取可执行知识为具身代理
作者
Wenlong Huang UC Berkeley Pieter Abbeel UC Berkeley Deepak Pathak* Carnegie Mellon University Igor Mordatch* Google
摘要
大型语言模型LLMs学习到的世界知识能否用于交互环境中的操作本文研究了将高级任务例如“做早餐”分解为具体步骤例如“打开冰箱”的可能性。尽管先前的工作集中在学习通过明确的步骤来执行操作但令人惊讶的是如果预训练的语义足够大且适当提示它们可以有效地将高级任务分解为中间计划而无需进一步训练。然而LLMs生成的计划通常不能精确映射到可执行动作。我们提出了一种方法通过现有演示和语义翻译计划来条件化这些计划使它们映射到可执行动作。在近期VirtualHome环境中的评估表明这种方法在可执行性方面显著优于LLM基线。进行的人类评估揭示了可执行性和正确性之间的权衡但显示了从语言模型中提取可执行知识的前景。
技术展望与未来工作 任务刷牙 步骤1去浴室 GPT-2 1.5B 任务刷牙步骤1走向浴室 Codex 12B 任务刷牙步骤1走向浴室 GPT-3 13B 任务刷牙步骤1走向浴室 GPT-3 175B 任务刷牙步骤1走向浴室 翻译Codex 12B 任务丢掉废纸步骤1走向家庭办公室 人类 任务刷牙步骤1走向浴室步骤2打开门步骤3走向水槽步骤4将锅放在水槽上步骤5将牙刷放在牙刷上步骤6找到牙膏步骤7将牙膏放在牙刷上步骤8将牙刷放在嘴里步骤9刷牙两分钟步骤10吐出牙膏将牙刷放回水槽中步骤11打开水槽的水步骤12用牙刷冲洗一分钟步骤13关闭水槽的水步骤14将牙刷放回橱柜 结果 LSTM监督基线 任务读书步骤1走向家庭办公室步骤2走向灯步骤3找到灯步骤4打开灯步骤5找到小说步骤6拿起小说步骤7找到椅子步骤8坐在椅子上步骤9读小说步骤10睡觉步骤11醒来 分析与讨论 我们展示了通过语义翻译和自动轨迹校正可以在保持一定正确性的前提下显著提高可执行性。更多样本可在附录A.5中找到。 相关工作 语言模型的快速发展帮助我们了解了这些模型如何从大规模未结构化文本中学习世界知识并将其应用于各种下游任务。本研究旨在通过预训练语言模型提取序列动作计划以完成开放式人类活动同时满足各种交互环境的要求。 结论 通过这项研究我们发现预训练语言模型已经包含了大量的可执行知识但这些知识需要通过适当的提示和语义翻译来提取和应用。未来工作可以进一步探索如何利用这些模型提取和应用于具身环境中的知识。 这项研究通过利用预训练语言模型生成合理的行动计划并通过语义翻译和自动轨迹校正来提升计划的可执行性展示了语言模型在具身环境中的应用前景。未来可以进一步探索如何利用这些模型从大规模文本中提取更复杂、更具体的任务知识并应用于更广泛的具身场景中。
【附录】
以下是关于《Language Models as Zero-Shot Planners: Extracting Actionable Knowledge for Embodied Agents》的伪代码实现重点是提取和执行高阶任务如“刷牙”的步骤。
伪代码实现
# 定义环境和任务
class Environment:def __init__(self):self.objects {} # 存储环境中的物体self.actions {} # 存储可执行的动作def add_object(self, name, object):self.objects[name] objectdef add_action(self, name, action):self.actions[name] action# 初始化环境
env Environment()# 定义一个任务
def task(name, steps):return {name: name, steps: steps}# 预训练语言模型
class PretrainedLanguageModel:def generate_plan(self, task_description):# 假设生成一个计划return Generated Plan# 零样本规划器
class ZeroShotPlanner:def __init__(self, language_model: PretrainedLanguageModel):self.language_model language_modeldef generate_action_plan(self, task):# 生成计划plan self.language_model.generate_plan(task)return plan# 生成可执行动作
class ActionTranslator:def translate(self, plan, environment):# 将生成的计划转换为可执行的动作translated_plan []for step in plan:# 找到对应的可执行动作action environment.actions.get(step, None)if action:translated_plan.append(action)return translated_plan# 环境感知
class EnvironmentAwareness:def __init__(self, environment):self.environment environmentdef get_state(self):# 获取当前环境的状态return self.environment.state# 主程序
def main():# 初始化环境env Environment()# 添加环境中的物体和动作env.add_object(fridge, Fridge)env.add_object(sink, Sink)env.add_object(toothbrush, Toothbrush)env.add_object(toothpaste, Toothpaste)env.add_action(open, Open fridge)env.add_action(close, Close fridge)env.add_action(grab, Grab toothbrush)env.add_action(put, Put toothbrush in sink)env.add_action(brush, Brush teeth)env.add_action(rinse, Rinse mouth)# 初始化语言模型和零样本规划器language_model PretrainedLanguageModel()planner ZeroShotPlanner(language_model)# 定义任务task_description brush teethtask task(task_description, [])# 生成计划plan planner.generate_action_plan(task)# 初始化环境感知environment_awareness EnvironmentAwareness(env)# 翻译计划为可执行的动作translator ActionTranslator()executable_plan translator.translate(plan, environment_awareness)# 执行动作for action in executable_plan:action.execute()if __name__ __main__:main()详细说明
环境和任务定义: Environment 类用于定义和管理环境中的物体和动作。task 函数用于定义一个任务包含任务名称和步骤。 预训练语言模型: PretrainedLanguageModel 类用于生成任务的计划。 零样本规划器: ZeroShotPlanner 类用于调用语言模型生成任务计划。 生成可执行动作: ActionTranslator 类用于将生成的计划转换为可执行的动作。 环境感知: EnvironmentAwareness 类用于获取环境的当前状态。 主程序: 初始化环境并添加物体和动作。使用语言模型生成任务计划。使用翻译器将计划转换为可执行的动作。执行动作。
以上伪代码展示了如何使用预训练的语言模型生成任务计划并将其转换为可执行的动作从而实现零样本规划。
【OpenSpace】
开放性讨论语言模型作为零样本规划者
背景介绍
在本论文中Wenlong Huang、Pieter Abbeel 和其他作者研究了如何利用大型语言模型LLMs来为具身智能体embodied agents生成可执行的操作计划。他们发现尽管大型语言模型可以很好地理解高阶任务但它们生成的计划往往与实际可执行的步骤不匹配可能包含语义模糊或未包含必要步骤的问题。为了解决这个问题作者提出了一种方法来改进生成的操作计划的可执行性同时保持其语义正确性。
讨论问题 大型语言模型是否能够生成可执行的操作计划 大型语言模型是否能够在不经过额外训练的情况下生成合理的操作计划生成的操作计划在多大程度上能够直接执行而不需要进一步的调整 如何改善生成的计划的可执行性 作者提出了哪些具体工具和技术来提高生成的操作计划的可执行性这些工具和技术在执行过程中是否会影响计划的语义正确性 零样本规划zero-shot planning的有效性如何 使用零样本规划方法生成的操作计划是否能够在实际环境中执行通过翻译和调整语言模型生成的操作计划是否能够在保持语义正确性的前提下提高可执行性 未来的改进方向是什么 作者认为有哪些方面可以进一步改进如何进一步利用零样本规划方法来提高实际应用中的可执行性
具体例子
Task: 刷牙 GPT-2 1.5B: 走向浴室走向水槽找到牙刷拿起牙刷将牙刷放入嘴里用牙刷刷牙两分钟吐出牙膏刷牙放入水槽 Codex 12B: 走向浴室打开门走向水槽将锅放在水槽上将刷子放在牙刷上转向牙膏放牙膏在牙刷上放牙齿在牙刷上 人类: 走向家庭办公室走向垃圾桶找到垃圾桶转向垃圾桶找到椅子坐在椅子上找到支票抓起支票挤压支票站起来走向垃圾桶将支票放在垃圾桶上
通过这些例子可以看到大型语言模型生成的操作计划虽然在语义上是合理的但在实际执行时往往不够精确和可操作。通过翻译和调整可以显著提高计划的可执行性但同时可能会减少其语义正确性。
未来研究方向
进一步改进零样本规划方法 如何更好地利用零样本规划方法生成更精确和可执行的操作计划增强模型的理解能力 如何进一步提高语言模型对任务和环境的理解能力以便生成更精确的操作计划结合更多环境信息 如何利用更多环境信息来增强生成的操作计划的可执行性
通过这些讨论我们可以更深入地理解如何利用大型语言模型来生成和优化可执行的操作计划以实现更好的具身智能体任务执行。
