上海网站建设平台,中国做贸易的网站,龙华企业网站建设公司,速度快的wordpress主机RAPTOR: RECURSIVE ABSTRACTIVE PROCESSING FOR TREE-ORGANIZED RETRIEVAL
Title#xff1a;树组织检索的递归抽象处理
https://arxiv.org/pdf/2401.18059.pdf
摘要 检索增强语言模型可以更好的融入长尾问题#xff0c;但是现有的方法只检索短的连续块#xff0c;限制了整…RAPTOR: RECURSIVE ABSTRACTIVE PROCESSING FOR TREE-ORGANIZED RETRIEVAL
Title树组织检索的递归抽象处理
https://arxiv.org/pdf/2401.18059.pdf
摘要 检索增强语言模型可以更好的融入长尾问题但是现有的方法只检索短的连续块限制了整个文档上下文的整体理解。 文本提出方法递归对文本块进行向量化聚类摘要从下到上构建一棵具有不同摘要级别的树。
介绍 要解决的问题是大多数现有的方法只检索几个短的、连续的文本块这限制了它们表示和利用大规模话语结构的能力。 这与需要整合文本多个部分知识的主题问题特别相关前k个检索到的短连续文本将不包含足够的上下文来回答问题。
为了解决这个问题我们设计了一个索引和检索系统该系统使用树结构来捕获文本的高级和低级细节。 相关工作 1.为什么需要检索 模型往往没有充分利用长期上下文并且随着上下文长度的增加尤其是当相关信息嵌入到长上下文中时性能会下降。此外实际上使用长上下文既昂贵又缓慢。 2.检索方法 基于术语的方法TFIDFBM25到基于深度学习的策略。 检索增强大模型包含多个组件检索模块阅读器端到端系统训练。 向量化的检索方法缺点连续分割可能无法捕捉到文本的完整语义深度。阅读从文件中提取的片段可能缺乏重要的上下文使其难以阅读甚至具有误导性。 3.递归总结 摘要技术提供了文档的浓缩视图使您能够更集中地处理内容。使用段落的摘要和片段提高了大多数数据集的正确性但有时可能是一种有损的压缩方式。 递归抽象摘要模型采用任务分解来总结较小的文本块然后将其集成以形成较大部分的摘要。虽然这种方法可以有效地捕捉更广泛的主题但它可能会错过细微的细节。 LlamaIndex通过类似地总结相邻的文本块但也保留中间节点从而存储不同级别的细节保持细粒度的细节从而缓解了这一问题。 然而由于这两种方法都依赖邻接来对相邻节点进行分组或汇总它们仍然可能忽略文本中遥远的相互依存关系。
方法 总体结构通过构建递归树结构来解决阅读中的语义深度和连接问题该结构平衡了更广泛的主题理解和细粒度的细节并允许根据语义相似性而不仅仅是文本中的顺序对节点进行分组。 step1.将语料库文本进行切分每个切片大小为100个字符但会保持句子的完整性。使用sbert对每个切片进行向量嵌入切片和向量会形成树的叶子结点。 step2.使用聚类方法对切片进行分组分组后的切片组使用LLM进行摘要总结。这样嵌入、聚类、总结循环进行直到聚类不可行。最后生成了文档的树形结构表示。 step3.树的查询使用两种策略树遍历和折叠树。树遍历方法逐层遍历树每层进行树修剪并选择最相关的点。折叠树方法对所有层的节点进行集中评估。 聚类方法 聚类方法的一个独特要求是使用软集群其中节点可以属于多个集群而不需要固定数量的集群。这种灵活性至关重要因为单个文本片段通常包含各种主题相关的信息从而保证将其包含在多个摘要中。 本文使用混合高斯聚类方法GMM是一种软聚类方法每个样本可以根据概率属于多个聚类簇。本文还使用了分层聚类全部聚类和局部聚类分两步进行的聚类过程捕获了文本数据之间的广泛关系从广泛的主题到特定的细节。 基于模型的总结 摘要步骤将潜在的大量检索信息浓缩为可管理的大小。虽然摘要模型通常会产生可靠的摘要但一项重点注释研究显示约4%的摘要包含轻微幻觉。这些不会传播到父节点也不会对问答任务产生明显影响。 查询 树遍历 树遍历方法首先基于前k个最相关的根节点与查询嵌入的余弦相似性来选择它们。在下一层考虑这些所选节点的子节点并且基于它们与查询向量的余弦相似性再次从该池中选择前k个节点。重复此过程直到我们到达叶节点。最后将所有选定节点的文本连接起来形成检索到的上下文。通过调整在每一层选择的深度d和节点k的数量树遍历方法提供了对所检索信息的特异性和广度的控制。该算法从广阔的前景开始通过考虑树的顶层并在向下穿过较低层时逐渐关注更精细的细节。 折叠树
折叠树方法提供了一种更简单的方法通过同时考虑树中的所有节点来搜索相关信息。这种方法不是一层一层地进行而是将多层树扁平化为一层基本上将所有节点放在同一级别进行比较。
实验 详情见论文。
总结 在本文中我们提出了RAPTOR这是一种新颖的基于树的检索系统它利用不同抽象级别的上下文信息增强了大型语言模型的参数知识。通过使用递归聚类和摘要技术RAPTOR创建了一个分层树结构能够合成检索语料库各个部分的信息。在查询阶段RAPTOR利用这种树结构进行更有效的检索。我们的对照实验表明RAPTOR不仅优于传统的检索方法而且在几个问答任务上设置了新的性能基准。
