中国建设银行三峡分行网站,深圳app网站建设,wordpress pc 手机,软文世界平台2024-10-10,由浙江大学和阿里巴巴集团联合创建的WORFBENCH#xff0c;一个用于评估大型语言模型#xff08;LLMs#xff09;生成工作流能力的基准测试。它包含了一系列的测试和评估协议#xff0c;用于量化和分析LLMs在处理复杂任务时分解问题和规划执行步骤的能力。WORFBE…2024-10-10,由浙江大学和阿里巴巴集团联合创建的WORFBENCH一个用于评估大型语言模型LLMs生成工作流能力的基准测试。它包含了一系列的测试和评估协议用于量化和分析LLMs在处理复杂任务时分解问题和规划执行步骤的能力。WORFBENCH 通过模拟多种应用场景和复杂的图结构工作流为研究人员提供了一个统一的框架来评估和比较不同LLMs的性能。 一、研究背景
随着大型语言模型在处理复杂任务方面能力的显著提升将复杂问题分解为可执行的工作流成为了实现实际部署的关键步骤。然而现有的工作流评估框架要么只关注整体性能要么存在场景覆盖有限、工作流结构简单和评估标准宽松等限制。 目前遇到困难和挑战
1、现有的评估基准大多只关注功能调用任务忽视了更复杂的工作流结构如并行性。
2、LLMs在生成工作流时容易受到幻觉和歧义的影响导致评估缺乏系统性。
3、当前的工作流评估过于依赖GPT-3.5/4而这些模型本身在复杂任务规划中的表现并不理想。 数据集地址WORFBENCH|大型语言模型数据集|工作流生成数据集 二、让我们来一起看一下WORFBENCH
WORFBENCH是一个统一的工作流生成基准包含多方面的应用场景和复杂的图结构工作流目的全面提升LLMs的工作流生成能力。涵盖了问题解决、功能调用、具身规划和开放性规划等四种复杂的应用场景包含了18k训练样本、2146个测试样本和723个用于评估泛化能力的保留任务。
整个构建过程包括任务的收集、节点链的构建、工作流图的生成以及严格的质量控制和数据过滤。通过GPT-4生成节点链和工作流图并通过拓扑排序算法和人工评估来确保数据集的质量。
WORFBENCH提供了一套系统化的评估协议WORFEVAL使用子序列和子图匹配算法来准确量化LLM代理的工作流生成能力。此外还支持对不同规模的LLMs进行评估并可以分析工作流如何增强端到端模型的性能。 基准测试
通过在WORFBENCH上的综合评估研究人员发现即使是GPT-4这样的模型在图结构化工作流的预测能力上也远远达不到实际要求性能差距约为15%。此外通过训练开源模型并评估其在保留任务上的泛化能力进一步证明了WORFBENCH的有效性和实用性。 概述框架WORFBENCH第1 扇区是基准构建我们首先合成节点链然后是工 作流图。第二部分是我们的数据过滤过程(§。第3部分描述了WORFEVAL中的算法以评 估LLM代理的预测工作流。第四部分是我们WORFBENCH的详细数据点。请注意图中的每个 节点都由其颜色唯一标识。 我们使用相同的精心设计指令和两个示例来评估所有模型。我们根据模型是否开源以及它们的规模对模型进行分类。每个类别中的最佳结果用粗体标出第二好的结果用下划线标出。 三、让我们一起展望 WORFBENCH的应用
想象一下你是一个智能家居系统的AI大脑。
你的任务是帮助主人准备一个晚餐。主人家今天回来很多小朋友所以这个重任就落在了你的肩上。
首先你得检查一下家里的食材库存。你控制着家里的智能冰箱查看了里面的蔬菜和肉类发现冰箱里有新鲜的番茄和牛肉但是缺少了一些香料和饮料。于是你生成了一个购物清单并通过智能家居系统发送给了主人。
主人回来后根据你的清单采购了所需的物品。现在你得开始规划晚餐的菜单和烹饪流程了。你决定做一道经典的番茄牛肉意面。你根据冰箱里的食材和主人新买的香料制定了一个详细的烹饪计划。
烹饪开始了你首先指导主人把牛肉切成薄片然后用橄榄油、大蒜和香料腌制。同时你还控制着智能烤箱预热到合适的温度。牛肉腌制好后你指导主人将其放入烤箱中烤制。
在牛肉烤制的同时你也没闲着开始准备意面和番茄 sauce。你指导主人把意面放入锅中煮熟同时用智能搅拌机打碎番茄制作出新鲜的番茄酱。你还控制着智能定时器确保意面不会煮过头。
最后当一切准备就绪你指导主人将烤好的牛肉和热腾腾的番茄酱与意面混合撒上一些新鲜的芝士一道美味的番茄牛肉意面就完成了。
在这个过程中你不仅要处理厨房里的各种智能设备还要根据实际情况灵活调整计划。比如当发现烤箱预热不够快时你得决定是否先准备酱料或者调整烤箱的温度。这就像是在玩一个实时策略游戏你得随时做出决策确保一切都能按时完成。
最后一盘盘香气扑鼻、味道鲜美、色泽诱人的意面被小吃货们一扫而光。嚷嚷着下次还要来做客。
一个大型语言模型在动态环境中执行动作的能力它需要理解任务、规划步骤、控制设备并且能够根据实际情况灵活调整计划。这种能力对于智能家居系统来说是非常有价值的它可以让家庭生活更加便捷和高效。
来吧让我们走进多摄像头视图推荐数据集|模型泛化数据集
