引言
随着数据量的不断增大，处理大规模数据库时的SQL问答成为了一个复杂的任务。为了生成有效的查询，我们需要提供表名、表架构以及查询所需的值。然而，当数据库包含大量表、列或高基数列时，无法在每次查询中传递所有信息。因此，动态提取最相关的信息成为关键。本篇文章将介绍如何识别和使用相关信息来生成SQL查询。
主要内容
识别相关表的子集
在处理多个表时，无法在单个提示中包含所有表的架构。在这种情况下，我们可以根据用户输入动态选择相关表。通过使用工具调用功能，我们可以得到符合期望格式的输出，即相关表名列表。
使用工具调用
首先，我们展示如何使用工具调用功能来获取与用户问题相关的表名，并建立一个能帮助我们选择相关表的流程。
from langchain_core.output_parsers.openai_tools import PydanticToolsParser
from langchain_core.prompts import ChatPromptTemplate
from langchain_core.pydantic_v1 import BaseModel, Field
class Table(BaseModel):
"""SQL数据库中的表。"""
name: str = Field(description="SQL数据库中的表名。")
table_names = "\n".join(db.get_usable_table_names())
system = f"""返回可能与用户问题相关的所有SQL表名。表如下：
{table_names}
请务必包括所有可能相关的表，即便你不确定它们是否必要。"""
prompt = ChatPromptTemplate.from_messages([("system", system), ("human", "{input}")])
llm_with_tools = llm.bind_tools([Table])
output_parser = PydanticToolsParser(tools=[Table])
table_chain = prompt | llm_with_tools | output_parser
table_chain.invoke({"input": "What are all the genres of Alanis Morisette songs"})
这种方法允许我们在架构复杂的大型数据库中，高效识别出与用户查询相关的表。
识别相关列值子集
在处理高基数的列时，例如包含专有名词的列，我们需要确保拼写正确以准确过滤数据。一种策略是创建一个向量存储，所有数据库中的独特专有名词均存储于此。我们可以在每次用户输入时查询该向量存储，并将最相关的专有名词插入到提示中。
创建向量存储并查询
以下代码示例展示了如何创建向量存储并进行查询：
from langchain_community.vectorstores import FAISS
from langchain_openai import OpenAIEmbeddings
proper_nouns = query_as_list(db, "SELECT Name FROM Artist")
proper_nouns += query_as_list(db, "SELECT Title FROM Album")
proper_nouns += query_as_list(db, "SELECT Name FROM Genre")
vector_db = FAISS.from_texts(proper_nouns, OpenAIEmbeddings())
retriever = vector_db.as_retriever(search_kwargs={"k": 15})
chain = RunnablePassthrough.assign(proper_nouns=retriever_chain) | query_chain
这种方法能够自动纠正拼写错误，提高查询的准确性。
代码示例
在代码示例中，我们演示了如何使用上述方法生成SQL查询，并通过SQLite数据库返回结果。
query = full_chain.invoke(
{"question": "What are all the genres of Alanis Morisette songs"}
)
print(query)
db.run(query)
SELECT DISTINCT g.Name
FROM Genre g
JOIN Track t ON g.GenreId = t.GenreId
JOIN Album a ON t.AlbumId = a.AlbumId
JOIN Artist ar ON a.ArtistId = ar.ArtistId
WHERE ar.Name = 'Alanis Morissette';
常见问题和解决方案
- 拼写错误处理：通过向量存储和检索机制，可以在查询中自动纠正拼写错误。
- 高基数列的处理：将所有专有名词存储到向量数据库，以便在查询时检索最相关的词条。
总结和进一步学习资源
通过动态提取与用户问题相关的信息，我们可以高效地处理大规模数据库中的SQL查询。未来可以探索使用智能代理来自动选择表和列。
进一步学习资源：
参考资料
- LangChain API 文档
- SQLite 教程
如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！
---END---
