网站挂广告,会计培训班要多少钱,动感十足的网站,链接网站某一页面如何做在过去的一年中#xff0c;生成式 AI (Generative AI) 领域取得了显著的进展。许多新的服务和工具应运而生。其中#xff0c;LangChain 已成为构建大语言模型 (LLM) 应用程序#xff08;例如检索增强生成 (RAG) 系统#xff09;最受欢迎的框架之一。该框架极大地简化了原型…在过去的一年中生成式 AI (Generative AI) 领域取得了显著的进展。许多新的服务和工具应运而生。其中LangChain 已成为构建大语言模型 (LLM) 应用程序例如检索增强生成 (RAG) 系统最受欢迎的框架之一。该框架极大地简化了原型开发并使开发者能够轻松实验不同的模型和检索系统。
最近Elasticsearch将其集成从社区包升级为官方的 LangChain 合作伙伴包。这一升级使得在 LangChain 应用程序中引入 Elasticsearch 功能变得更加简便。Elastic 团队通过专门的代码库管理代码和发布过程。
Elasticsearch 是目前最灵活且性能卓越的检索系统之一具备可扩展的数据存储和向量数据库功能。Elastic 的一个重要目标是成为最开放的检索系统。Elasticsearch与 LangChain 等库紧密合作并为生成式 AI 生态系统添加了原生支持功能从将 Elasticsearch 作为向量数据库到实现混合搜索再到协调完整的 RAG 应用程序。
使用 Elasticsearch 和 LangChain 快速构建 RAG 系统
RAG 是一种为用户提供非常相关答案的技术。相比直接使用大语言模型 (LLM)它的主要优点在于可以轻松集成用户数据并且能够最大程度地降低 LLM 出现错误信息的风险。这是通过增加一个文档检索步骤来实现的该步骤为 LLM 提供相关的上下文信息。
Elasticsearch 一直是进行相关文档检索的首选解决方案并且持续引领创新提供多种检索策略。在将 Elasticsearch 集成到 LangChain 时我们使用户能够轻松选择最常见的检索策略比如密集向量、稀疏向量、关键字检索或混合检索。同时也允许高级用户进一步自定义这些策略。
构建一个简单的 RAG 应用程序
按如下方式安装包pip install langchain-elasticsearch然后我们将一些示例文档添加到我们的 Elasticsearch 存储中。
texts [LangChain is a framework for developing applications powered by large language models (LLMs)., Elasticsearch is a distributed, RESTful search and analytics engine capable of addressing a growing number of use cases., ...
]
es_store.add_texts(texts)接下来我们使用 OpenAI 提供的默认 gpt-3.5-turbo 模型作为LLM模型该模型也为 ChatGPT 提供支持。
from langchain_openai import ChatOpenAIllm ChatOpenAI(api_keysk-...) # or set the OPENAI_API_KEY environment variable采用一个标准提示来指示LLM。将 Elasticsearch转换为 LangChain 检索器。最后我们将检索步骤与将文档添加到提示符并将其发送到 LLM. 现在用户可以就数据提出问题
rag_chain.invoke(Which frameworks can help me build LLM apps?)LangChain 和 Elasticsearch 检索器
Elasticsearch 存储提供了现成的常见检索策略开发者可以自由探索最适合特定场景的方案。但如果数据模型比单一字段的文本更复杂呢例如如果索引包含了一个网络爬虫生成的文档这些文档包含文本、标题、URL 和标签等多个字段而所有这些字段都对搜索至关重要应该如何处理Elasticsearch 的查询 DSL (Query DSL) 为用户提供了完全的搜索数据灵活性。在 LangChain 中ElasticsearchRetriever 可以直接实现这种灵活性。只需定义一个函数将用户输入的查询映射到 Elasticsearch 请求即可。
假设我们想在检索步骤中添加语义重新排序功能。通过增加 Cohere 重新排序步骤排在前面的结果将变得更加相关而无需额外的手动调整。为此让我们定义了一个 Retriever它接收一个返回对应 Query DSL 结构的函数。 这个检索器可以顺畅地集成到上面的 RAG 代码中。这样一来 RAG 流程中的检索部分将变得更加精确从而将更相关的文档传递给大语言模型 (LLM)最终提供更为相关的答案。
Elastic 对 LangChain 生态系统的持续投入将最新的检索创新融入了这个最受欢迎的生成式 AI (GenAI) 库之一。通过此次合作Elastic 和 LangChain 让开发者能够快速、轻松地为用户构建 RAG 解决方案同时提供了对结果质量进行深入调整的灵活性。
如何学习AI大模型
作为一名热心肠的互联网老兵我决定把宝贵的AI知识分享给大家。 至于能学习到多少就看你的学习毅力和能力了 。我已将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。
这份完整版的大模型 AI 学习资料已经上传CSDN朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】 一、全套AGI大模型学习路线
AI大模型时代的学习之旅从基础到前沿掌握人工智能的核心技能 二、640套AI大模型报告合集
这套包含640份报告的合集涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师还是对AI大模型感兴趣的爱好者这套报告合集都将为您提供宝贵的信息和启示。 三、AI大模型经典PDF籍
随着人工智能技术的飞速发展AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型如GPT-3、BERT、XLNet等以其强大的语言理解和生成能力正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。 四、AI大模型商业化落地方案 作为普通人入局大模型时代需要持续学习和实践不断提高自己的技能和认知水平同时也需要有责任感和伦理意识为人工智能的健康发展贡献力量。
