使用语义层提升图数据库的查询能力——以Neo4j为例

tangtang123
72 阅读3分钟

引言

图数据库近年来因其处理复杂关系数据的能力而受到关注。Neo4j作为一个热门的图数据库，广泛应用于各种应用场景，但要高效地从中提取信息并不总是那么简单。本文将讨论如何在Neo4j上添加一个语义层，使大型语言模型（LLM）可以通过预定义的Cypher模板与其交互，从而提升查询的准确性和效率。

主要内容

理解语义层

语义层是一个用于抽象复杂数据接口的概念。在图数据库中，语义层可以包括一组工具，这些工具使用预定义的Cypher模板，可以被LLM灵活调用。这样，我们避免了动态生成Cypher语句可能带来的不稳定性。

设置环境

首先，我们需要安装必要的库并设置环境变量。

%pip install --upgrade --quiet langchain langchain-community langchain-openai neo4j

接着，我们需要设置API密钥等环境变量：

import os
import getpass

os.environ["OPENAI_API_KEY"] = getpass.getpass()  # 使用API代理服务提高访问稳定性

os.environ["NEO4J_URI"] = "bolt://localhost:7687"
os.environ["NEO4J_USERNAME"] = "neo4j"
os.environ["NEO4J_PASSWORD"] = "password"

导入数据到Neo4j

我们将使用一个关于电影和演员的小型数据集来初始化Neo4j数据库。

from langchain_community.graphs import Neo4jGraph

graph = Neo4jGraph()
movies_query = """
LOAD CSV WITH HEADERS FROM 
'https://raw.githubusercontent.com/tomasonjo/blog-datasets/main/movies/movies_small.csv'
AS row
MERGE (m:Movie {id:row.movieId})
SET m.released = date(row.released),
    m.title = row.title,
    m.imdbRating = toFloat(row.imdbRating)
FOREACH (director in split(row.director, '|') | 
    MERGE (p:Person {name:trim(director)})
    MERGE (p)-[:DIRECTED]->(m))
FOREACH (actor in split(row.actors, '|') | 
    MERGE (p:Person {name:trim(actor)})
    MERGE (p)-[:ACTED_IN]->(m))
FOREACH (genre in split(row.genres, '|') | 
    MERGE (g:Genre {name:trim(genre)})
    MERGE (m)-[:IN_GENRE]->(g))
"""
graph.query(movies_query)

使用Cypher模板创建自定义工具

接下来，我们创建一个函数get_information，通过预定义的Cypher模板从数据库中提取信息。

description_query = """
MATCH (m:Movie|Person)
WHERE m.title CONTAINS $candidate OR m.name CONTAINS $candidate
MATCH (m)-[r:ACTED_IN|HAS_GENRE]-(t)
WITH m, type(r) as type, collect(coalesce(t.name, t.title)) as names
WITH m, type+": "+reduce(s="", n IN names | s + n + ", ") as types
WITH m, collect(types) as contexts
WITH m, "type:" + labels(m)[0] + "\ntitle: "+ coalesce(m.title, m.name) 
       + "\nyear: "+coalesce(m.released,"") +"\n" +
       reduce(s="", c in contexts | s + substring(c, 0, size(c)-2) +"\n") as context
RETURN context LIMIT 1
"""

def get_information(entity: str) -> str:
    try:
        data = graph.query(description_query, params={"candidate": entity})
        return data[0]["context"]
    except IndexError:
        return "No information was found"

定义OpenAI代理

通过LangChain库，可以轻松定义一个LLM代理来与图数据库交互。

from langchain.agents import AgentExecutor
from langchain_openai import ChatOpenAI

llm = ChatOpenAI(model="gpt-3.5-turbo", temperature=0)
tools = [InformationTool()]

agent_executor = AgentExecutor(agent=agent, tools=tools, verbose=True)

测试代理

通过执行一个查询，我们可以看到代理如何与我们的语义层交互。

agent_executor.invoke({"input": "Who played in Casino?"})

常见问题和解决方案

  1. 网络连接问题：在某些地区，连接外部API可能不稳定。可考虑使用API代理服务来提高访问稳定性。
  2. Cypher模板的维护：随着需求的变化，Cypher模板可能需要调整，保持灵活的设计是关键。
  3. 性能问题：对于大型数据库，检索速度可能会受到影响，可以通过优化数据库索引和查询结构来改善。

总结和进一步学习资源

通过在Neo4j上添加一个语义层，并结合LLM，我们可以高效地从复杂的图数据库中提取信息。这种方法不仅提高了查询的准确性，也提供了更加灵活的交互方式。有关更多信息，请参考以下资源：

参考资料

如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！

---END---

avatar
文章
阅读
粉丝