安康企业网站建设价格,上海企业网站开发,云南城市建设职业学校官方网站,大连承揽营销型网站公司https://arxiv.org/pdf/2310.00754
https://github.com/YiyangZhou/LURE
背景
对象幻觉#xff1a;生成包含图像中实际不存在的对象的描述
早期的工作试图通过跨不同模式执行细粒度对齐#xff08;Biten et al.#xff0c;2022#xff09;或通过数据增强减少对象共现模…https://arxiv.org/pdf/2310.00754
https://github.com/YiyangZhou/LURE
背景
对象幻觉生成包含图像中实际不存在的对象的描述
早期的工作试图通过跨不同模式执行细粒度对齐Biten et al.2022或通过数据增强减少对象共现模式Rohrbach et al.2018 Kim et al.2023来解决小规模多模态预训练模型中的对象幻觉问题。最近的一些工作Li et al.2023cLiu et al.2023ad研究了通过增强用于微调的数据集的质量来减少LVLM中的对象幻觉。
经验和理论发现都揭示了对象幻觉可以归因于三个关键因素共现、不确定性和对象位置。
首先如果训练数据包含对象之间的虚假共现模式语言模型可能会基于这些学习到的虚假关联生成输出从而导致幻觉描述。
其次在生成过程中幻觉更频繁地发生在以高不确定性为特征的对象上。
最后位置因素也发挥了作用因为由于误解的积累更多的对象幻觉倾向于出现在生成描述的后半部分。
贡献
提出了轻量级的后处理方法LVLM幻觉审阅器LURE通过重建较少幻觉的描述来事后纠正LVLM中的对象幻觉
LURE开发了一个对象幻觉审校器。这个审校器将潜在的幻觉描述作为输入并将它们转换为准确的。 为了创建审校器我们首先使用GPT-3.5生成一个幻觉数据集方法是对原始正确的标题进行两次修改
1在描述中插入额外的对象文本这些文本很可能与初始描述中包含的对象共同出现。这种修改允许LURE学习有效地解开这种共现模式
2用占位符支架替换不确定的对象或描述末尾的对象鼓励审校器重新评估这些对象。
最后我们利用获得的幻觉数据集训练我们的幻觉审校器。一旦经过训练审校器可以与任何LVLM无缝集成以纠正潜在的幻觉描述。
实验
为了验证我们的方法的性能增益不是来自于使用额外的数据来训练修订器我们使用额外的数据集微调了原始LVLM 幻觉因素是否有助于性能增益为了证明考虑共现、不确定性和物体位置在减少幻觉方面的影响我们进行了消融实验并在表4中报告了结果其中“原始”代表了MiniGPT-4的描述。
在消融实验中我们在没有三个因素的情况下训练和部署了修正器一次一个。结果表明所有三个因素都有助于训练一个强大的幻觉修正器来减少物体幻觉
