引言
在大数据和信息爆炸的时代，传统的关键词搜索引擎如Google已经无法满足复杂语义检索的需求。Exa Search作为一种面向大型语言模型（LLM）的智能搜索引擎，以其出色的语义理解能力能够在互联网上寻找并获取相关文档内容。这篇文章将为您详细介绍如何利用LangChain与Exa Search集成，进行智能文档搜索和内容检索。
主要内容
什么是Exa Search？
Exa Search不同于传统的关键词搜索引擎，它利用神经搜索技术来理解自然语言查询的语义，从而返回更相关的结果。这使得Exa成为LLM搜索任务中的理想选择。
安装和环境准备
首先，您需要获取一个Exa API密钥，并将其设置为环境变量。然后安装langchain-exa集成包和相关依赖：
%pip install --upgrade --quiet langchain-exa langchain langchain-openai langchain-community
使用ExaSearchRetriever
ExaSearchRetriever利用Exa以语义方式检索相关文档。使用时请确保使用max_characters参数替代已弃用的max_length。
Exa SDK作为LangChain Agent工具
Exa SDK提供了强大的API接口，包括search、find_similar、和get_contents。此外，search_and_contents和find_similar_and_contents方法通过结合检索和内容获取功能，实现搜索与内容获取的同时操作。
代码示例
以下是如何使用Exa与LangChain结合的具体代码示例：
import os
from exa_py import Exa
from langchain_core.tools import tool
exa = Exa(api_key=os.environ["EXA_API_KEY"]) # 使用API代理服务提高访问稳定性
@tool
def search_and_contents(query: str):
"""根据查询搜索网页并获取其内容。"""
return exa.search_and_contents(query, use_autoprompt=True, num_results=5, text=True, highlights=True)
@tool
def find_similar_and_contents(url: str):
"""搜索与给定URL类似的网页并获取其内容。"""
return exa.find_similar_and_contents(url, num_results=5, text=True, highlights=True)
tools = [search_and_contents, find_similar_and_contents]
# 集成工具至LangChain Agent
from langchain.agents import AgentExecutor, OpenAIFunctionsAgent
from langchain_core.messages import SystemMessage
from langchain_openai import ChatOpenAI
llm = ChatOpenAI(temperature=0)
system_message = SystemMessage(
content="You are a web researcher who answers user questions by looking up information on the internet and retrieving contents of helpful documents. Cite your sources."
)
agent_prompt = OpenAIFunctionsAgent.create_prompt(system_message)
agent = OpenAIFunctionsAgent(llm=llm, tools=tools, prompt=agent_prompt)
agent_executor = AgentExecutor(agent=agent, tools=tools, verbose=True)
agent_executor.run("Summarize for me a fascinating article about cats.")
常见问题和解决方案
- API访问不稳定问题：由于网络限制，建议使用API代理服务以提高访问稳定性。
- 弃用参数问题：注意
max_length参数已弃用，使用max_characters代替。
总结和进一步学习资源
Exa Search为智能语义搜索带来了革命性的变化，通过与LangChain的结合，开发者可以更轻松地构建强大的文档检索系统。推荐进一步阅读Exa的官方文档和LangChain的使用指南以获取更多信息。
参考资料
如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！ ---END---
