网站长域名,哈尔滨网站制作公司哪家好,网站需要兼容哪些浏览器,廊坊cms建站模板0.简介
本推文主要介绍了由来自北京航空航天大学的姜克谋、蔡轩和崔智勇教授等共同提出的一种名为KoMA的知识驱动的多智能体框架。论文《KoMA: Knowledge-driven Multi-agent Framework for Autonomous Driving with Large Language Models》提出了KoMA框架#xff0c;通过结…0.简介
本推文主要介绍了由来自北京航空航天大学的姜克谋、蔡轩和崔智勇教授等共同提出的一种名为KoMA的知识驱动的多智能体框架。论文《KoMA: Knowledge-driven Multi-agent Framework for Autonomous Driving with Large Language Models》提出了KoMA框架通过结合大语言模型LLM和多智能体协作显著提升了自动驾驶系统在复杂环境下的决策效率与安全性。该框架具备多步骤规划、智能体间共享记忆模块以及基于排名的反思优化机制可以有效解决单一智能体在泛化能力、协作能力和高效决策方面的不足。
实验结果表明KoMA框架在高速公路仿真环境中能够更好地适应不同场景的变化特别是在复杂任务如匝道并入和车流密度调控中表现出优越的泛化能力。此外研究还探索了不同的大语言模型如GPT3.5、GPT4、Llama3、Llama2等在框架中的推理表现为未来构建更强大的知识驱动的自动驾驶系统提供了重要的参考。
本推文由邱雪撰写审校为黄星宇和许东舟。
论文链接https://ieeexplore.ieee.org/abstract/document/10745878
代码链接https://jkmhhh.github.io/KoMA/ 1.背景与挑战
随着自动驾驶技术的快速发展如何在复杂动态的交通环境中实现高效、安全的车辆控制成为一大核心难题。然而现有的自动驾驶系统普遍面临以下挑战
缺乏多智能体协作能力 当前大部分自动驾驶框架依赖单一的智能体来完成驾驶任务这种方法在面对复杂交通环境时难以有效理解周围交通参与者的行为和意图导致决策能力受限。泛化能力不足 传统自动驾驶系统依赖于大量特定场景的训练数据而在未见过的复杂场景中适应能力较弱容易出现不安全或低效的决策。缺乏高效决策与解释能力 现有方法通常无法快速应对高动态场景中的决策需求同时对决策背后的逻辑缺乏解释性使得系统难以被广泛接受。
在这样的背景下如何引入具有强泛化能力、复杂推理能力以及高效协作能力的多智能体系统成为了自动驾驶领域亟需解决的问题。针对这些挑战KoMA框架以大语言模型LLM为核心通过多智能体协作与知识驱动的创新模块提出了一种全新的解决方案为下一代自动驾驶系统的研发提供了方向。具体如下 引入大语言模型增强智能体能力
大语言模型LLM不仅提升了智能体的推理能力还提供了强大的泛化能力能够高效处理复杂场景中的推理和情景描述。 多智能体协作机制
通过多个智能体协作结合周围环境信息判断其他交通参与者的行为意图做出更加符合交通规范和实际需求的决策。 多层次规划与决策模块
设计多步骤规划机制智能体逐层分析环境并逐步做出行动决策提高了系统应对复杂场景的能力。 共享记忆模块
引入共享记忆机制使智能体能够积累并共享驾驶经验有效提升系统的适应性和长期决策水平。 基于排名的反思与优化模块
通过排名机制对智能体的决策进行反思和迭代优化不断提升框架的整体性能和效率为复杂动态环境中的自动驾驶提供更强支持。 2.方法
图1 KoMA框架的整体工作流程
图1展示了KoMA框架的整体架构突出了如何通过多智能体协作与基于大语言模型的决策模块提升自动驾驶系统的效率和适应性。框架的左侧描述了自动驾驶系统所处的环境Environment其中蓝色表示周围的环境车辆绿色表示基于大语言模型LLM驱动的智能体车辆。智能体通过环境感知和交互模块捕获周围车辆的状态信息如位置、速度和车道位置并将这些信息生成场景描述供后续模块进行推理和规划。随后将生成的场景描述传递到解码模块Decoder将环境信息解码为语义化的场景描述。这一步是LLM理解环境的核心输入为后续的智能体规划和决策提供了基础。
智能体在接收到场景描述后通过多步骤规划模块Multi-step Planning完成目标制定、计划生成和行动执行。多步骤规划包括三个关键部分目标制定Goal确定驾驶目标如避让车辆或进入目标车道计划生成Plan设计具体的路径或行动序列行动执行Action将计划转换为具体的驾驶操作并反馈到环境中。此外多步骤规划模块还包含交互机制Interaction Interface智能体能够分析和理解其他交通参与者的行为意图从而协作完成更符合交通规范的决策。
为了提升系统的适应性和长期决策性能框架引入了基于记忆的增强模块Memory-based Enhancement。智能体共享一个记忆库Shared Memory用于存储经验数据包括成功经验Success Experience和修正经验Revised Experience。这些记忆数据通过向量化Embedding进行高效存储和检索。在 反思模块Evaluation-Reflection中智能体通过分析过去的经验并对决策进行优化具体步骤包括重新规划Replanning、生成新行动New Action和总结经验Summarizing。优化后的新经验被存入记忆库为未来决策提供支持。
整个框架形成了一个从感知、规划、行动、反思、优化的闭环流程。智能体通过规划与行动与环境实时交互并结合反思机制提升决策质量。共享记忆模块显著增强了智能体的泛化能力而多步骤规划和交互机制确保了智能体在动态交通环境中的实时响应与安全决策。KoMA框架为解决复杂交通场景提供了一种创新且高效的方案。 3.实验结果
图2 将KoMA在0次无记忆项、20次284个记忆项和40次624个记忆项训练轮次后的性能与MARL在0次、20,000次和40,000次训练轮次后的性能进行比较
图2展示了KoMA框架与传统多智能体强化学习框架MARL在不同轮训练阶段的成功率对比KoMA框架在训练后期表现出更强的适应性和协作能力反映了基于记忆增强的KoMA框架在处理多智能体协作任务中的显著优势。
图3 在初始场景中使用不同记忆模块进行测试的实验结果分别在训练 20 轮和 40 轮后进行评估
图3展示了不同记忆模块对KoMA框架在训练过程中的成功率影响结果表明共享记忆机制显著优于无记忆和非共享记忆机制。在训练20轮和40轮后共享记忆的成功率分别达到50%和70%远超其他两种方法。共享记忆通过智能体之间的经验共享显著提升了系统的学习效率、协作能力和泛化能力为解决复杂动态场景提供了更高效的支持。
图4 经过40轮训练后在测试成功的场景中的平均效率得分和安全得分
图4展示了在训练40轮后是否采用多步骤规划Multi-step Planning对效率得分Efficiency Score和安全得分Safety Score的影响。结果显示采用多步骤规划的情况下效率得分从9.13提升至9.45安全得分从9.27提升至9.92。这表明多步骤规划能够有效优化智能体的行动决策显著提升任务执行的效率和安全性。
图5 在有记忆和无记忆的情况下对不同泛化场景的实验结果进行了评估该记忆已在一条两车道的主巷道上进行了训练。
图5比较了在单车道和三车道主干道场景下是否采用记忆机制对成功率的影响。结果显示在单车道场景中采用记忆机制的成功率从40%显著提升至90%在三车道场景中成功率从50%提升至70%。这表明记忆机制能够有效帮助智能体积累和利用经验在不同复杂场景中显著提高决策成功率尤其是在更简单的单车道场景中提升效果更为显著。
图6 在初始场景中经过40轮训练的记忆其泛化能力在环岛场景中进行了专门测试
图6展示了在初始场景和扩展至环岛场景中使用初始场景记忆与无记忆机制的成功率对比。结果表明在初始场景中使用记忆的成功率从30%显著提升至 70%在环岛场景中成功率从60%提升至80%。这表明基于初始场景训练的记忆不仅能有效提升当前任务的成功率还能增强智能体在新场景中的泛化能力从而提升复杂环境下的适应性。
表1 不同LLMs在KoMA框架下训练0、20、40轮后的实验的成功率
表1展示了在KoMA框架中使用不同的大语言模型经过0、20和40轮训练后的成功率。结果显示GPT4在所有阶段的表现最优成功率从初始的30%提升至70%。相比之下GPT3.5、Llama3、Llama2和Qwen2的最终成功率分别为35%、40%、35%和40%。这些数据表明模型的推理能力显著影响KoMA框架的性能其中GPT4展现了最佳的学习能力和泛化性能。
表2 在KoMA框架下对不同LLMs的推理时间进行统计分析
表2对不同的大语言模型在KoMA框架中的推理时间进行了统计分析结果显示GPT4的推理时间最长平均时间为17.49秒最大时间为19.86秒相比之下Llama系列模型的推理时间较短其中Llama2平均时间最少仅为7.49秒。这表明不同模型的推理能力存在显著差异其中Llama2在推理效率方面表现优越而GPT4尽管推理时间较长但可能更适合对高精度要求的任务。 4.总结
KoMA框架通过结合大语言模型与多智能体协作为自动驾驶任务带来了显著的性能提升。实验结果表明共享记忆机制、多步骤规划、以及基于排名的反思优化模块在提高模型的效率和泛化能力方面发挥了关键作用。尤其是结合GPT4等强大模型时KoMA在复杂场景中的决策成功率和安全性均达到领先水平。同时不同LLMs的推理效率差异也表明了技术选择的重要性Llama2等模型在效率上表现优越而GPT4则在性能上具备更强的优势。
未来KoMA的方法可扩展至更多动态场景和多智能体任务例如智能交通管理、无人配送等为自动驾驶技术和多智能体协作领域的发展提供了新的方向和启示。
