qifeiye做的网站如何,制作网站要多少费用,深圳市住建局网站,网站设计特点人工智能领域又一里程碑时刻#xff01;北京大学、北京智源人工智能研究院等机构联合推出大型事件推理评测基准 。这是首个同时在知识和推理层面全面评估大模型事件推理能力的数据集。
总所周知#xff0c;事件推理需要丰富的事件知识和强大的推理能力#xff0c;涉及多种推…人工智能领域又一里程碑时刻北京大学、北京智源人工智能研究院等机构联合推出大型事件推理评测基准 。这是首个同时在知识和推理层面全面评估大模型事件推理能力的数据集。
总所周知事件推理需要丰富的事件知识和强大的推理能力涉及多种推理范式和关系类型。而 的出现让我们对大模型在这一重要领域的能力有了全新的认知。
研究人员在 上对多个常见大模型进行了全面测评结果令人惊喜又意料之中 大模型已初步具备事件推理能力,但距离人类还有不小差距 不同大模型的能力参差不齐 大模型能掌握事件知识却不懂得如何高效运用。 GPT-3.5研究测试
yeschat
GPT-4研究测试
Hello, LLMs
Claude-3研究测试全面吊打GPT-4
AskManyAI
基于这些发现研究人员进一步探索了引导大模型更好进行事件推理的新方法。他们设计的知识引导方案让大模型的表现获得了显著提升。下面就让我们一起深入解读这篇文章看看研究人员的智慧结晶如何推动人工智能跨越式发展。 为业界树立了创新性工作的标杆必将激发更多学者投身于这一领域的探索。人工智能的明天值得我们所有人满怀期待 论文标题
A Comprehensive Evaluation on Event Reasoning of Large Language Models
论文链接
https://arxiv.org/pdf/2404.17513
——全面评估大模型事件推理能力的“试金石”
随着人工智能的飞速发展大模型在各类自然语言任务中取得了令人瞩目的成绩。然而对于事件推理这一重要能力我们对大模型的真实水平却知之甚少。业界迫切需要一个能够全面评估其事件推理能力的“试金石”。 的诞生正是为了填补这一空白。
那么 有哪些独特之处呢让我们一探究竟。
首先 开创了全新的评估模式。传统的评估方法往往只关注结果忽视了过程。而事件推理是一个复杂的过程既需要丰富的事件知识作为基础又需要灵活运用各种推理技巧。 巧妙地从Schema(模式)和Instance(实例)两个层面入手,全面考察大模型的事件知识储备和推理能力,这在业界尚属首次。
其次 的考察内容非常全面它涵盖了因果、时序、层次等多种事件关系类型设计了事件关系推理、事件分类等不同形式的任务。这种多维度、多角度的考察能够全方位地测试大模型的事件推理能力让我们对其优势和短板有更清晰的认识。
最后 的构建过程颇具特色。它并非少数研究人员闭门造车的产物而是融合了人工智能和人类智慧的结晶。研究团队利用 GPT-4 自动生成海量事件数据以此保证数据规模同时人工标注团队对数据质量进行了严格把关确保了数据的准确性和可靠性。这种人机协作的方式极大地提升了 的数据质量。
总的来说 是一个全新的事件推理能力评估基准它在评估模式、考察内容和构建方法上都有独到之处。这为全面评估大模型的事件推理能力提供了重要工具有助于推动人工智能领域的进一步发展。
背后的“智慧密码”
要探究大模型的事件推理能力科学的研究方法和严谨的实验设计必不可少。接下来就让我们走进研究团队看看他们是如何开展这项开创性工作。
评测模型与任务设计
研究人员首先精心挑选了9个在业界具有代表性的大模型作为评测的参赛选手。这些模型都是自然语言处理领域的佼佼者例如GPT-4、GPT-3.5、Qwen1.5-7B等。但它们在事件推理上的真实水平如何还是未知数。通过在 基准上对这些模型进行系统评测我们就能一探究竟。
为了全面考察大模型的事件推理能力研究团队精心设计了两大类任务上下文事件分类(CEC)和上下文关系推理(CRR)。下图展示了CEC和CRR两类任务的一般步骤 CEC任务主要考察模型在特定背景下识别事件的能力给定一个事件和特定的关系类型模型需要从候选事件中选出正确答案。而CRR任务则侧重于考察模型理解事件间关系的能力给定两个事件模型要正确判断它们之间的关系类型。这两类任务相辅相成可以多角度评估模型的事件推理水平。
数据集构建流程
众所周知数据质量对于模型评测至关重要。为了构建高质量的评测数据集研究人员可谓下足了功夫。他们采用了三步走的策略: 基于EECKG知识库构建模式图。该图涵盖了丰富的事件类型及其关系为后续工作奠定了坚实的基础 利用GPT-4的生成能力将模式图转化为实例图。通过这种方式研究人员获得了海量的真实可信的事件实例 由人工标注团队在模式图和实例图的基础上构建CEC和CRR任务的问答数据集。标注团队的加入进一步保证了数据的准确性和可靠性。
这种先自动生成、再人工标注的方式既保证了数据规模又兼顾了数据质量。可以说 的数据集是人工智能和人类智慧协作的结晶。
下图表示了 数据集与现有事件推理数据集之间的比较其中表示数据集包含的层面和分别表示模式和实例层面表示是否符合上下文和分别表示是否具有多重关系或范式。 知识引导方法探索
除了评测大模型的事件推理能力研究人员还探索了如何进一步提升其表现。他们别出心裁地设计了两种知识引导方法直接引导和基于**思维链的引导(CoT)**。
直接引导的思路很简单就是在输入文本中直接提供事件类型知识给模型划重点。而CoT引导则更有烧脑的味道它启发模型先预测事件类型再基于预测结果进行推理。通过这种思维链的方式模型可以更好地利用事件知识进行判断。
综上所述这项研究采用了严谨的实验设计和创新的研究方法。通过系统评测和知识引导研究人员全面考察了大模型的事件推理能力并探索了提升其表现的新思路。
揭秘大模型的事件推理能力
在介绍了 基准的特点和研究方法后你是不是迫不及待地想知道实验结果了呢别着急接下来我就为你一一道来让我们一起来看看大模型们在这场考试中的表现如何。
大模型已初具事件推理能力,但离人类还有差距
首先让我们来看看大模型在事件推理任务上的整体表现。在实例层面的评测中GPT-4在CEC和CRR任务上的准确率分别达到了63.80%和61.20%远超其他模型。这个结果表明以GPT-4为代表的大模型已经具备了一定的事件推理能力。它们能够在给定背景下正确识别事件并判断事件之间的关系。 然而我们也要看到即使是表现最好的GPT-4其准确率也还没有达到令人满意的程度。这说明大模型在事件推理上虽然已经初具能力但离人类的水平还有不小的差距。要让它们真正具备人类般的事件推理能力还需要进一步的提升。
模型在不同关系类型和任务上的表现不平衡
接下来让我们再来看看模型在不同类型的事件关系和任务上的表现差异。
实验结果显示所有模型在处理因果关系时的表现最好其次是时序关系和层次关系。这说明大模型对于不同类型的事件关系掌握的程度是不一样的。它们似乎更擅长处理因果关系而在时序和层次关系上还有待加强。 同时我们也发现模型在CEC任务上的表现普遍优于CRR任务。这表明大模型在识别事件方面的能力要强于理解事件间关系。这也许是因为判断事件间的关系需要更深入的推理和分析能力。 总的来说实验结果揭示了大模型在事件推理能力上的不平衡性。它们在不同的关系类型和任务上表现出了明显的差异。这提示我们在未来的研究中要更加注重提升模型在薄弱环节上的能力实现全面而均衡的发展。
事件模式知识的运用仍有待加强
除了考察大模型的事件推理能力研究人员还探究了它们运用事件模式知识的情况。
随着模型发展模型在实例层面的推理表现要好于模式层面这表明事件模式知识落后于事件实例知识。这一发现表明加强事件模式知识可以进一步提高模型的能力从而获得更好的通用LLM。 此外作者还探讨了大语言模型在利用事件模式知识进行推理时与人类是否一致。结果表示大语言模型在利用事件模式知识进行推理时其方式可能与人类存在差异。换句话说它们并没有很好地与人类的思维方式对齐。 这一发现很有启发性。它提示我们让大语言模型学会像人类一样利用事件模式知识进行推理可能是显著提升其事件推理能力的关键。
知识引导为大模型指明前进方向
最后让我们来看看知识引导方法对大模型事件推理能力的影响。
实验结果显示无论是直接引导还是CoT引导都能够显著提升大模型在事件推理任务上的表现。其中直接引导对多个模型的CEC和CRR任务准确率提升最为明显平均提升幅度超过5%。而CoT引导目前在GPT-4上也取得了积极的效果。 这些结果充分证明了知识引导方法的有效性。通过恰当的引导我们可以帮助大模型更好地利用事件知识进行推理从而大幅提升它们的表现。这为进一步提高大模型的事件推理能力指明了方向。
总的来说通过 基准的实验我们对大模型的事件推理能力有了更全面、更深入的认识。一方面我们看到了它们已经初步具备了这一能力另一方面我们也发现了它们在不同方面还存在短板这需要我们在未来的研究中重点关注和改进。同时知识引导方法的初步成功也为我们指明了一条有潜力的研究道路。
大模型来了事件推理还会远吗 基准的提出及随后的系列研究无疑是人工智能领域的一次重大突破。它们不仅揭示了大模型在事件推理方面的优势与不足更为后续研究指明了方向。 的研究结果告诉我们大模型已经初步具备了事件推理能力这是一个令人惊喜的发现。然而我们也要清醒地认识到当前大模型的事件推理能力还存在诸多限制。它们在处理不同类型的事件关系时表现出明显的不平衡性尤其是在时序和层次关系的理解上还有很大的提升空间。此外大模型在灵活运用事件知识方面也存在不足。 的研究只是一个开始它为我们探索大模型的事件推理能力提供了一个全新的视角和方法论开启了这一领域的新纪元。随着 及后续研究工作的不断深入大模型的事件推理能力必将得到长足的进步。在不久的将来机器或许就能够像人类一样甚至比人类更好地理解和推理世间万物的因果联系、时序规律和层次结构。这将极大地拓展人工智能的应用边界为人类认识世界、改变世界提供更强大的智能工具。
