东莞哪里有做网站的,天津和平做网站多少钱,江西网站开发方案,苍南县住房和城乡规划建设局网站大型语言模型的生物医学知识图优化提示生成 https://arxiv.org/abs/2311.17330 https://github.com/BaranziniLab/KG_RAG 大型语言模型的生物医学知识图优化提示生成
摘要
KG-RAG框架#xff0c;较好的结合了生物医学知识图谱SPOKE和LLM的优势。SPOKE是一个开放知识图谱较好的结合了生物医学知识图谱SPOKE和LLM的优势。SPOKE是一个开放知识图谱提供数据下载和开放API整合了超过40个公开可用的生物医学知识源涵盖了基因、蛋白质、药物、化合物、疾病等概念和概念之间的关系可以为LLM提供一个强大的医疗领域知识。 研究人员对KG-RAG框架进行了广泛的测试包括单跳和双跳提示、药物再利用查询、生物医学真假问题和多项选择题。结果表明KG-RAG显著提高了LLMs的性能特别是在具有挑战性的多项选择题数据集上LLMs都取得了较大的提升。此外KG-RAG还能够提供有意义的药物再利用建议并在回答中体现出对临床试验必要性的谨慎态度。
工作原理
KG-RAG框架的工作原理包括以下步骤 1.实体识别从用户输入的query中识别出疾病实体然后在SPOKE知识图谱中找到相应的节点。 2.上下文提取从SPOKE知识图谱中提取与疾病节点相关的上下文信息并将其转换为自然语言。 3.提示组装将提取的上下文与原始prompt结合。 4.文本生成使用LLM如Llama-2-13b、GPT-3.5-Turbo或GPT-4生成有意义的生物医学文本。
实体识别
区别于用小模型去做NERKG-RAG里使用LLM识别实体。
实体抽取Disease Entity Extraction 在KG-RAG框架中这一过程是通过零样本提示zero-shot prompting实现的。研究人员设计了一个高效的抽取prompt引导大型语言模型如GPT-3.5-Turbo从输入文本中提取疾病实体并将结果以JSON格式返回。
def disease_entity_extractor_v2(text): chat_model_id, chat_deployment_id get_gpt35() prompt_updated system_prompts[DISEASE_ENTITY_EXTRACTION] \n Sentence : text resp get_GPT_response(prompt_updated, system_prompts[DISEASE_ENTITY_EXTRACTION], chat_model_id, chat_deployment_id, temperature0) try: entity_dict json.loads(resp) return entity_dict[Diseases] except: return NoneYou are an expert disease entity extractor from a sentence and report it as JSON in the following format: Diseases: List of extracted entities Please report only Diseases. Do not report any other entities like Genes, Proteins, Enzymes etc.实体链接Entity Matching to SPOKE
疾病实体抽取出来后下一步就是将这些实体与SPOKE知识图谱中的疾病实体进行匹配也就是传统NLP任务中的实体链接KG-RAG这个框架中采用的方法是用语义相似度的方式来做。
实体embedding计算首先使用Embedding模型如’all-MiniLM-L6-v2’为SPOKE知识图谱中的所有疾病概念节点计算embedding向量将计算出的疾病embedding存储在向量数据库语义搜索匹配将LLM提取的疾病实体与向量数据库 当然如果零样本方法未能识别出疾病实体采取的办法是直接拿原始query去匹配取top 5。 最终实体匹配过程会输出与输入文本提示中的疾病实体最相关的SPOKE知识图谱节点。这些节点及其相关信息将用于后续的上下文提取和文本生成步骤。通过这种方法KG-RAG框架能够有效地从专业文本中提取和识别疾病实体并将其与丰富的生物医学知识库相连接从而生成准确、可靠的生物医学相关信息。
子图查询与剪枝
子图查询
在得到具体的实体后紧接着就是从KG中去查询这个实体关联的子图这些信息通常以三元组Subject, Predicate, Object的形式存在表示不同的生物医学关系。通常情况下可以查询1~3跳内的三元组信息这里借助图数据库可以比较容易的实现。 得到的三元组信息LLM可能不太能比较好的理解这里就需要将三元组转换成自然语言以便与输入提示结合并用于后续的文本生成。举个例子
(Disease hypertension, ASSOCIATES_DaG, Gene VHL) → Disease hypertension associates Gene VHL上下文剪枝
在KG-RAG框架中Context Pruning上下文剪枝是一个关键步骤就和dfs遍历时需要剪枝来减少遍历时间一样这里的剪枝可以减少给LLM的信息减少token数量同时过滤掉一些无用信心还能提升LLM回答的精确性。 Context Pruning的具体做法还是会基于embedding来计算语义相似度大概就是使用embedding模型计算三元组和query的cos相似度最后选择策略
条件一上下文关联的余弦相似度必须大于所有提取上下文关联的相似度分布的75%分位条件二余弦相似度的最小值必须达到0.5 通过这个0.5 和 75%可以有效减少给LLM的无效信息有助于提高后续文本生成的准确性和相关性。
提示组装与文本生成
这里就简单了就是和question一起组合为propmt再加上SYSTEM_PROMPT送给LLM回答
question row[text]
#检索
context retrieve_context(question, vectorstore, embedding_function_for_context_retrieval, node_context_df, context_volume, QUESTION_VS_CONTEXT_SIMILARITY_PERCENTILE_THRESHOLD, QUESTION_VS_CONTEXT_MINIMUM_SIMILARITY, edge_evidence)
#
enriched_prompt Context: context \n Question: question
output get_GPT_response(enriched_prompt, SYSTEM_PROMPT, CHAT_MODEL_ID, CHAT_DEPLOYMENT_ID, temperatureTEMPERATURE)
if not output:
enriched_prompt Context: context \n Question: question这里的SYSTEM_PROMPT
One-Hop Validation
SINGLE_DISEASE_ENTITY_VALIDATION: | You are an expert biomedical researcher. For answering the Question at the end, you need to first read the Context provided. Then give your final answer by considering the context and your inherent knowledge on the topic. Give your answer in the following JSON format: {Compounds: list of compounds, Diseases: list of diseases} # Two-Hop Validation
TWO_DISEASE_ENTITY_VALIDATION: | You are an expert biomedical researcher. For answering the Question at the end, you need to first read the Context provided. Then give your final answer by considering the context and your inherent knowledge on the topic. Give your answer in the following JSON format: {Nodes: list of nodes} KG-RAG 在应用中落地思考
KG-RAG 给出了如何结合KG来做RAG的一个有效方案但这里再工业场景中落地还有很多是我们细致去思考的。比如NER实体识别这里通过LLM来抽取再来做entity link这里的效率肯定是感人的其实这里传统的bert模型就可以了成本可以忽略不计。 再则剪枝这里原始的实现效率是很低的这里的embedding模型也需要专门去微调训练。三元组转换成自然语言这里也是有讲究如何生成更通顺的自然语言更好的做法LLM人工确定好模版通过模版生成。另外是先是被实体然后去查询实体的关联子图还是全图查询通过实体来过滤都是可以考虑的点。
总结
KG-RAG框架通过结合生物医学知识图谱和LLM为生物医学领域的问题提供了通用的解决方案。不仅提高了模型的性能而且简化了流程使其更具成本效益和时间效率。 在其他领域如何去应用KG做RAG一方面可以扩展该框架另外一方面也要结合自己的实际场景去定制具体的策略。
