昭通微网站建设,uniapp商城源码,电商法,wordpress页面链接404论文笔记--Won’t Get Fooled Again: Answering Questions with False Premises 1. 文章简介2. 文章概括3 文章重点技术3.1 大模型面对FPQs的表现3.2 False QAs数据集3.3 训练和评估 4. 文章亮点5. 原文传送门 1. 文章简介
标题#xff1a;Won’t Get Fooled Again: Answerin… 论文笔记--Won’t Get Fooled Again: Answering Questions with False Premises 1. 文章简介2. 文章概括3 文章重点技术3.1 大模型面对FPQs的表现3.2 False QAs数据集3.3 训练和评估 4. 文章亮点5. 原文传送门 1. 文章简介
标题Won’t Get Fooled Again: Answering Questions with False Premises作者Shengding Hu, Yifan Luo, Huadong Wang, Xingyi Cheng, Zhiyuan Liu, Maosong Sun日期2023期刊arxiv
2. 文章概括 文章给出了第一份False Premises Questions(FPQs)数据集并证明了PLMs本身具有识别False premise的能力通过在少量FPQ上微调可以激活该能力。 下图为PLM能力激活的一个简单示例
3 文章重点技术
3.1 大模型面对FPQs的表现 一般来说我们直接问大模型Does the sun have eyes?“可以得到正确的答案No”但当我们把错误问题作为前提提问其它问题时比如How many eyes does the sun have?这时候大模型往往会把错误问题中蕴含的前提当真并继续给出错误的答案。具体来说我们用subject, predicate, object表示一个三元组上述问题的三元组为triple, quantity, ?其中triple为syn, has_property, eye针对此类triple中嵌套triple的问题大模型往往无法正确作答。 文章测试了Bloon, OPT, Jurassic-1, GPT-3对一些FPQ的问答能力。如下表所示大模型模型可以直接回答出单个三元组的问题但无法正确回答错误假设下的问题FPQs。
3.2 False QAs数据集 为了解决上述问题文章构建了一份False QAs数据集。由于从自然语言语料库中收集数据可能会是的收集的问题不可控且难以对其校正。为此文章手动构建数据集希望构建的False QA数据集具有broad coverage, high quality, few shortcuts, detailed explanations。 首先文章希望数据集包含尽可能多的问题分类。文章对错误问题进行了两种分类按照错误类型进行分类包括尝试错误、逻辑错误等按照问题格式进行分类包括事实类畏难而退描述类问题等。最后得到的数据集包括8种错误类型的问题6种问题格式的问题且每种类型的问题数量仅可能一致。 作者雇用了20个人类标记员来创造FPQs。首先从Generic-sKB数据库中获取单词为源单词及对应的简短的描述性句子然后标记员根据该单词进行发散思考创造出包含/与单词相关的错误前提的问题。为了让PLMs更深刻地理解任务我们让标记员对每个FPQs进行修正且需保证修改最小从而确保模型可以学习到必要的知识。此外每个标记员被要求对FPQs为什么是错误的给出解释且解释不能仅仅是对错误的否定。下图为标记数据的流程。 最后文章得到了FalseQA数据集包含2365个问题对包含False QA和修正后的True QA。
3.3 训练和评估 为了让模型同时判断问题的假设是为真 并给出合理的解释我们让模型生成判别tokens: “tricky question或是true question”然后继续生成对判断的解释。由于判别tokens的token数很少文章增加了额外的binary loss来进行学习该loss和模型的生成时loss的比例为1。 评估阶段如果生成的答案中包含“tricku question”则认为该问题为一个FPQ否则为一个TPQ。
4. 文章亮点 文章给出了第一个False Premise Questions数据集在其基础上进行学习可以增强大模型对FPQs问题的判别和解释能力。且数值实验表明在学习FPQs的过程中增加少量的原始QA数据每次迭代使用小部分重复数据即可可以有效地防止大模型的灾难性遗忘现象发生。False QAs数据集可供科研工作者进行进一步的该类研究且文章提出的学习思路可供未来的QA数据集构建参考。
5. 原文传送门
Won’t Get Fooled Again: Answering Questions with False Premises
