金融公司网站免费模板,Live WordPress,去势 wordpress,西乡县门户网站今天给大家分享一篇论文。
题目是#xff1a;C-RAG#xff1a;如何构建一个可信的联邦检索RAG系统。
论文链接:https://arxiv.org/abs/2412.13163
论文概述
尽管大型语言模型 (LLM) 在各种应用中展现出令人印象深刻的能力#xff0c;但它们仍然存在可信度问题#xff…今天给大家分享一篇论文。
题目是C-RAG如何构建一个可信的联邦检索RAG系统。
论文链接:https://arxiv.org/abs/2412.13163
论文概述
尽管大型语言模型 (LLM) 在各种应用中展现出令人印象深刻的能力但它们仍然存在可信度问题例如幻觉和偏差。检索增强语言模型 (RAG) 被提出通过接地外部知识来增强生成的可靠性但对其生成风险的理论理解仍未探索。当前RAGt可信主要存在以下挑战
LLMs 存在幻觉和不一致等问题导致输出结果不可靠且不可信。对于 RAG 模型如何有效减轻生成风险的理论理解不足相较于普通 LLMs尚缺乏充分的理论支持。收集准确反映测试样本分布的校准数据在实际应用中面临挑战尤其是在实时应用场景中。
这篇论文介绍了C-FedRAG即Confidential Federated Retrieval-Augmented Generation System一个保密的联邦检索增强型生成系统。该系统旨在帮助组织利用大型语言模型LLMs进行知识查询和分析同时在不违反数据隐私和安全政策的前提下解决维护针对性、最新信息的挑战并减少LLMs在查询响应中的幻觉问题。
相关工作
论文中提到的相关研究主要集中在以下几个方面
FeB4RAG: Evaluating Federated Search in the Context of Retrieval Augmented Generation (Shuai Wang, 2024) 该论文概述了一个在RAG框架内进行联邦搜索的架构并引入了一个新的数据集用于评估联邦搜索解决了现有数据集的局限性。论文强调了开发复杂的联邦搜索策略的重要性以优化RAG管道并提高生成响应的质量。 Federated Learning-Enhanced Retrieval Augmented Generation (FLERAG) (Eugenia Kim, 2024) 提出了一种新的方法用于在传统的RAG LLM和跨客户端设备数据训练的FL模型之间选择最佳响应以解决需要不断更新RAG数据库的问题。通过响应仲裁器选择置信度更高的响应。全局FL模型在所有客户端之间共享提供更全面和最新的响应用于与基于预训练知识的LLM响应进行比较。 Cache Me If You Can: The Case For Retrieval Augmentation (RA) in Federated Learning (Aashiq Muhamed, 2024) 提出了一种在FL中使用RA增强的方法该方法在推理期间结合了基于检索的方法客户端设备从其本地数据集中检索相关信息并在将查询输入模型之前增强查询。这种方法解决了隐私问题和法规合规性同时允许各个客户端的模型从整个网络的集体知识中受益。该方法要求客户端在FL系统中微调自己的模型使用它们各自的私有数据。 Clinical Question-Answering over Distributed EHR Data (Jiang, 2024) 提出了使用联邦RAG进行临床问答的系统利用LLM进行临床问题回答而不损害患者隐私。提出的系统采用了分层设计的联邦文档检索实现了对分布式临床数据的高效和安全访问。作者还引入了一个新的基于MIMIC-IV数据库的数据集专门用于评估临床问答系统。通过解决隐私问题和增强可解释性提出的方法在利用LLM进行临床应用方面迈出了重要一步。 这些相关工作展示了RAG系统在联邦学习背景下的不同应用和研究方向包括联邦搜索策略的优化、模型选择、隐私保护和法规合规性以及在临床问答中的应用。这些研究为C-FedRAG系统的提出提供了理论和实践基础。
核心内容 论文通过提出一个名为C-FedRAG的系统来解决在保持数据隐私和安全的同时利用大型语言模型LLMs进行知识查询和分析的问题具体解决方案包括以下几个关键步骤
1. 检索增强生成
C-FedRAG的基本RAG流程包括
将数据库中的文档向量化形成向量化块。将查询嵌入到相同的嵌入模型中并执行嵌入检索以检索与查询最相关的文档块。通过重新排名模型进一步优化检索结果以提高准确性。将最相关的文档作为上下文附加到原始查询中形成增强的输入然后输入到LLM以生成响应。
2. 联邦化和保密计算
C-FedRAG系统的关键组成部分包括
使用NVIDIA FLARE SDK实现联邦化计算。利用保密计算环境保护数据隐私和安全特别是在上下文收集、聚合和响应生成过程中。通过联邦化的方式在多个数据提供者之间执行嵌入模型训练、上下文检索、重新排名和最终推理。
3 C-FedRAG实现
C-FedRAG系统的实施细节包括
使用NVIDIA FLARE SDK构建解决方案确保通信安全。协调器使用NVFlare作业协调检索请求并收集检索块。通过保密虚拟机在C-FedRAG工作流程中集成隐私保护方法确保数据的保密性和完整性。
评估方面使用MedRAG工具包和MIRAGE基准数据集对C-FedRAG系统的性能进行评估展示了该系统在处理各种医学文本格式和复杂性方面的能力。
论文实验
1. 实验设置 基准测试实验使用了MedRAG工具包和MIRAGE基准数据集作为评估基础。具体来说使用了BioASQ和PubMedQA数据集其中BioASQ包含618个是非问题PubMedQA包含500个是非问题。 基线方法与C-FedRAG进行比较的其他方法包括直接使用的LLMs如LLaMA-3-8B-Instruct以及通过MedRAG系统使用单一数据集MedCorp和特定数据集如PubMed、StatPearls、Textbooks、Wikipedia的RAG方法。 评估指标主要使用准确率百分比和标准差作为评估指标通过MIRAGE评估平台生成与真实答案的对比得分。
2. 主要结果
C-FedRAG在多个基准测试中展现出竞争性能尤其是在BioASQ基准测试中通过集成多个数据源并使用重排名模型显著提升了性能。 由于无法直接提供图片我将描述表格内容
表1展示了C-FedRAG与普通RAGMedRAG和非RAG LLM提示的结果比较。 表2展示了使用CoT时不同LLaMA模型的消融研究结果。
3. 结果分析 数据源集成的重要性通过比较单一数据源与集成多个数据源的C-FedRAG系统的性能结果表明集成多个数据源可以提供更有用的信息并显著提升性能。 重排对性能的增强通过比较仅使用嵌入/检索排名与使用最终重排名模型的C-FedRAG系统发现重排名模型有助于提升BioASQ任务的性能。 上下文窗口大小的影响研究了不同上下文窗口大小对性能的影响发现存在一个最佳的上下文窗口大小例如8个既能保证答案的准确性又不会因过多上下文而降低性能。 联邦化和保密计算的影响通过不同的联邦化和保密计算策略进行消融研究发现明确的联邦化步骤对于保持高答案准确性和数据隐私至关重要。 SI的质量通过检查一些问题及其对应的SI结构化意图的例子评估了SI的质量和鲁棒性发现SI能够准确地捕捉问题的关键信息。
总结讨论
论文讨论了C-FedRAG在处理跨多个数据提供者的问题时面临的限制包括数据隐私、控制和安全性的挑战以及在企业环境中部署联邦RAG系统时需要解决的身份和访问管理问题。此外还讨论了如何防止数据投毒攻击、使用隐私增强技术保护检索上下文以及如何在数据提供者之间安全地存储、管理和交换多个加密密钥的问题。
这些实验全面评估了C-FedRAG系统在处理跨多个数据源的问题回答任务时的有效性和效率并与现有的一些先进方法进行了比较。通过这些实验论文展示了C-FedRAG在保持数据隐私和安全性的同时能够达到与集中式RAG方法相当的或更好的答案质量。
编者简介
致Great,中国人民大学硕士多次获得国内外算法赛奖项目前在中科院计算所工作目前负责大模型训练优化以及RAG框架开发相关工作。
个人主页https://github.com/yanqiangmiffy
项目链接https://github.com/gomate-community/GoMate
