# 引言
在现代人工智能应用中，如何有效地检索并利用大量非结构化数据成为了一大挑战。LangChain 提供了完善的向量存储和检索器抽象，可以在长语言模型（LLM）工作流中高效地进行数据检索，尤其适用于需要数据推理的应用，如检索增强生成（RAG）。本文旨在深入探讨LangChain的向量存储与检索器的概念、应用以及如何通过代码示例实现这些功能。
## 主要内容
### 文档与向量存储
LangChain的文档（Document）抽象代表了文本单元及其元数据，如内容的来源。这些文档可以存储在向量存储中，用于高效检索。向量存储通过将文本转换成数值向量来进行数据存储和搜索，我们可以使用类似OpenAI的嵌入模型进行转换。
#### 向量存储的初始化与使用
向量存储的初始化通常需要一个嵌入模型以指定如何将文本转换为向量。LangChain集成了多个向量存储技术，这里我们使用Chroma进行演示：
```python
from langchain_chroma import Chroma
from langchain_openai import OpenAIEmbeddings
from langchain_core.documents import Document
# 准备样本文档
documents = [
Document(page_content="Dogs are great companions, known for their loyalty and friendliness.", metadata={"source": "mammal-pets-doc"}),
Document(page_content="Cats are independent pets that often enjoy their own space.", metadata={"source": "mammal-pets-doc"}),
]
# 初始化向量存储
vectorstore = Chroma.from_documents(
documents,
embedding=OpenAIEmbeddings(),
# 使用API代理服务提高访问稳定性
)
向量存储的查询
向量存储提供了多种查询方式，包括同步和异步查询，通过字符串或向量，是否返回相似性分数等。以下是基于字符串查询返回相似文档的示例：
results = vectorstore.similarity_search("cat")
for doc in results:
print(doc.page_content)
检索器
检索器是面向运行的组件，能够集成到LangChain表达式语言链中。我们可以创建一个基于向量存储的方法，例如基于相似性搜索来实现的简单检索器：
from langchain_core.runnables import RunnableLambda
retriever = RunnableLambda(vectorstore.similarity_search).bind(k=1)
retrieval_results = retriever.batch(["cat", "shark"])
检索器允许通过搜索类型以及搜索参数来定制检索方式，可以轻松集成到更复杂的应用中，如RAG应用。
代码示例
以下展示如何将检索器与LLM结合使用，进行复杂查询：
from langchain_core.prompts import ChatPromptTemplate
from langchain_openai import ChatOpenAI
message = """
Answer this question using the provided context only.
{question}
Context:
{context}
"""
prompt = ChatPromptTemplate.from_messages([("human", message)])
rag_chain = {"context": retriever, "question": RunnablePassthrough()} | prompt | ChatOpenAI(model="gpt-3.5-turbo")
response = rag_chain.invoke("tell me about cats")
print(response.content)
常见问题和解决方案
- 向量存储性能问题：在处理大量数据时，可能会遇到延迟。可以考虑选择更适合的数据存储解决方案，或者优化嵌入维度。
- API访问问题：由于网络限制，可能需要使用API代理服务以确保稳定访问。
总结和进一步学习资源
通过本指南，你掌握了LangChain向量存储和检索器的基本用法和编码实例。为了进一步学习，可以参考以下资源：
参考资料
- LangChain 文档抽象与向量存储的API参考
- LangChain 检索器部分的如何指南
结束语：如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！
---END---
