天津网站制作报价,常州建设局职称网站,博采网络,网页版微信登陆本文是LLM系列文章#xff0c;针对《How Language Model Hallucinations Can Snowball》的翻译。 语言模型幻觉是如何产生雪球的 摘要1 引言2 为什么我们期待幻觉像滚雪球一样越滚越大#xff1f;3 实验4 我们能防止雪球幻觉吗#xff1f;5 相关工作6 结论局限性 摘要
在实…本文是LLM系列文章针对《How Language Model Hallucinations Can Snowball》的翻译。 语言模型幻觉是如何产生雪球的 摘要1 引言2 为什么我们期待幻觉像滚雪球一样越滚越大3 实验4 我们能防止雪球幻觉吗5 相关工作6 结论局限性 摘要
在实际应用中使用语言模型的一个主要风险是它们容易产生错误陈述的幻觉。幻觉通常归因于LMs中的知识差距但我们假设在某些情况下当证明先前产生的幻觉时LMs会输出他们可以单独识别为不正确的虚假声明。我们构建了三个问答数据集其中ChatGPT和GPT-4经常陈述错误的答案并提供至少一个错误声明的解释。至关重要的是我们发现ChatGPT和GPT-4可以分别识别67%和87%的错误。我们将这种现象称为幻觉滚雪球LM过度犯早期错误导致更多错误否则就不会犯。
1 引言
2 为什么我们期待幻觉像滚雪球一样越滚越大
3 实验
4 我们能防止雪球幻觉吗
5 相关工作
6 结论
我们定义了幻觉滚雪球的现象并从最先进的模型中证明了它在生成中的普遍性从而导致了基于简单事实的幻觉否则这些幻觉是不会发生的。我们的研究结果指出训练语言模型的风险在于以牺牲真实性为代价不加区分地优先考虑流利性和连贯性我们鼓励未来的工作研究模型开发各个层面的补救措施。
局限性
我们关注的是英语问答中的幻觉滚雪球而不是在其他任务中探索它比如摘要或代码生成。 此外我们只在两个专有模型上进行实验即ChatGPT和GPT-4因为它们在许多基准测试上具有最先进的性能。由于这些模型的API的限制我们无法访问它们输出的概率分布也无法对它们进行微调。这限制了我们探索潜在缓解策略的能力。访问输出分布将使我们能够使用波束搜索等替代采样方法来研究减轻滚雪球般的幻觉问题。拥有微调模型的能力将使我们能够探索使用不同注释的指令调整是否可以更好地处理我们用来煽动幻觉滚雪球的问题。
