2017网站开发合同下载,wordpress添加爬虫数据,最好的文件管理软件,二级域名网址查询大全简介
Vanna是基于检索增强(RAG)的sql生成框架 Vanna 使用一种称为 LLM#xff08;大型语言模型#xff09;的生成式人工智能。简而言之#xff0c;这些模型是在大量数据#xff08;包括一堆在线可用的 SQL 查询#xff09;上进行训练的#xff0c;并通过预测响应提示中最…
简介
Vanna是基于检索增强(RAG)的sql生成框架 Vanna 使用一种称为 LLM大型语言模型的生成式人工智能。简而言之这些模型是在大量数据包括一堆在线可用的 SQL 查询上进行训练的并通过预测响应提示中最有可能的下一个单词或“标记”来工作。Vanna 优化了提示通过向量数据库使用嵌入搜索并微调 LLM 模型以生成更好的 SQL。Vanna 可以使用和试验许多不同的LLM以获得最准确的结果。 Vanna借助了相对简单也更易理解的RAG方法通过检索增强来构建Prompt以提高SQL生成的准确率。从本质上讲Vanna 是一个 Python 包它使用检索增强来帮助您使用 LLM 为数据库生成准确的 SQL 查询。 事先用向量数据库将待查询数据库的建表语句、文档、常用SQL及其自然语言查询问题存储起来。在用户发起查询请求时会先从向量数据库中检索出相关的建表语句、文档、SQL问答对放入到prompt里(DDL和文档作为上下文、SQL问答对作为few-shot样例)LLM根据prompt生成查询SQL并执行框架会进一步将查询结果使用plotly可视化出来或用LLM生成后续问题。如果用户反馈LLM生成的结果是正确的可以将这一问答对存储到向量数据库可以使得以后的生成结果更准确。 优势 易用性Vanna 允许非技术用户通过自然语言与数据库交互无需编写复杂的 SQL 查询。 灵活性它可以处理多种类型的数据库和查询适用于不同的应用场景。 准确性Vanna 的能力与你提供的训练数据相关更多的训练数据意味着在大型和复杂的数据集上有更好的准确性。 安全性你的数据库内容不会直接发送给 LLMSQL 执行发生在你的本地环境中。 自我学习你可以选择在成功执行的查询上“自动训练”或让界面提示用户对结果提供反馈使未来的结果更加准确。 劣势 准确性生成的 SQL 查询可能不完全准确可能需要人工干预来修正。 性能对于大型数据库生成 SQL 查询可能会有些缓慢。 依赖数据库结构Vanna 需要事先知道数据库的结构信息包括表名、字段名等。这意味着我们需要先将数据库结构信息导入到 Vanna 中才能正确地生成 SQL 查询语句。 复杂查询生成能力有限对于一些非常复杂的查询语句如果自然语言描述不够明确或存在歧义可能导致 Vanna 无法正确生成 SQL 语句。 Vanna的关键原理
借助数据库的DDL语句、元数据数据库内关于自身数据的描述信息、相关文档说明、参考样例SQL等训练一个RAG的“模型”embedding向量库
并在收到用户自然语言描述的问题时从RAG模型中通过语义检索出相关的内容进而组装进入Prompt然后交给LLM生成SQL。
Vanna 的工作过程分为两个简单步骤 : 在给定的数据上训练 RAG“模型”-本质上是基于文档建表语句、相关sql查询、表或者字段的comment作为资料进行Embedding后存入向量库。 然后提出问题基于这些问题去向量库检索相关信息这些问题传给大模型返回 SQL 查询这些查询可以设置为在您的数据库上自动运行。 具体步骤包括
训练根据您的数据训练 RAG“模型”或者说根据数据结构构建向量库。用户可以使用 DDL 语句、文档或样例 SQL 查询对 Vanna 进行训练让它掌握数据库的结构、业务术语和查询模式。Vanna 会将训练数据转化为向量嵌入存储在向量数据库中并建立元数据索引以便于后续检索。
问问题问Vanna关于数据的各种问题如上个月销量最大的5个商品
检索Vanna对问题的处理与其他RAG系统一样检索对应的DDL 语句、文档或样例 SQL。
生成 SQL Vanna 利用LLM例如 GPT-4结合上下文信息将自然语言问题转化为精准的 SQL 查询语句。
执行 展示数据库收到 Vanna 生成的 SQL 查询后就会执行查询。Vanna 会将查询结果整理成易于理解的格式例如表格或图表呈现给用户。 训练
Vanna的RAG模型训练支持以下几种方式
1. DDL语句
DDL有助于Vanna了解你的数据库表结构信息。
vn.train(ddlCREATE TABLE IF NOT EXISTS my-table (id INT PRIMARY KEY,name VARCHAR(100),age INT)
)
2. 文档内容
可以是你的企业、应用、数据库相关的任何文档内容只要有助于Vanna正确生成SQL即可比如对你行业特有名词的解释、特殊指标的计算方式等。
vn.train(documentationOur business defines XYZ as ABC)
3. SQL或者SQL问答对
即SQL的样例这显然有助于大模型学习针对您数据库的知识特别是有助于理解提出问题的上下文可以大大提高sql生成正确性。
vn.train(questionWhat is the average age of our customers?,sqlSELECT AVG(age) FROM customers)
4. 训练计划plan
这是vanna提供的一种针对大型数据库自动训练的简易方法。借助RDBMS本身的数据库内元数据信息来训练RAG model从而了解到库内的表结构、列名、关系、备注等有用信息。
df_information_schemavn.run_sql(SELECT * FROM INFORMATION_SCHEMA.COLUMNS)
planvn.get_training_plan_generic(df_information_schema)
vn.train(planplan)
提问
vn.ask(What are the top 10 customers by sales?)
你会得到 SQL
SELECT c.c_name as customer_name, sum(l.l_extendedprice * (1 - l.l_discount)) as total_sales
FROM snowflake_sample_data.tpch_sf1.lineitem l join snowflake_sample_data.tpch_sf1.orders o ON l.l_orderkey o.o_orderkey join snowflake_sample_data.tpch_sf1.customer c ON o.o_custkey c.c_custkey
GROUP BY customer_name
ORDER BY total_sales desc limit 10;
如果已连接到数据库将获得类似以下内容的查询结果 也可以通过Plotly chart进行绘图 Vanna三个主要基础设施 Database即需要进行查询的关系型数据库 VectorDB即需要存放RAG“模型”的向量库 LLM即需要使用的大语言模型用来执行Text2SQL任务 配置LLM和向量数据库
默认情况下Vanna支持使用其在线LLM服务对接OpenAI与向量库可以无需对这两个进行任何设置即可使用。因此使用Vanna最简单的原型只需要五行代码
import vanna from vanna.remote
import VannaDefault
vn VannaDefault(modelmodel_name, api_keyapi_key)
vn.connect_to_sqlite(https://vanna.ai/Chinook.sqlite)
vn.ask(What are the top 10 albums by sales?)
这里的OpenAI_Chat和ChromaDB_VectorStore是Vanna已经内置支持的LLM和VectorDB。
如果你需要支持非内置支持的LLM和vectorDB则需要首先扩展出自己的LLM类与VectorDB类
实现必要的方法具体可参考官方文档然后再扩展出自己的Vanna对象。 参考文献
[1] How accurate can AI generate SQL? (vanna.ai)
[2] https://github.com/vanna-ai/vanna
[3] https://vanna.ai/docs
[3] Vanna-ai: 本地部署OpenAI兼容大模型及向量数据库
[4] Vanna-ai :基于RAG的TextToSql实现方案
[5] Vanna 用 RAG的方法做Text2SQL系统
