如何通过缓存优化嵌入推理：提升效率和性能

用户331287887593
51 阅读2分钟 
# 如何通过缓存优化嵌入推理：提升效率和性能

## 引言

在自然语言处理中，嵌入是将文本转换为机器可理解的向量表示的一种重要方法。生成嵌入通常需要高计算成本，因此，将它们缓存起来可以显著提高效率。本篇文章将详细介绍如何使用 `CacheBackedEmbeddings` 来缓存嵌入，并提供实用的代码示例。

## 主要内容

### 什么是 `CacheBackedEmbeddings`

`CacheBackedEmbeddings` 是一个包装器，它将生成的嵌入存储在键值缓存中。对于每个文本，生成一个哈希值并将其用作缓存键，以避免重复计算嵌入。

### 初始化 `CacheBackedEmbeddings`

主要方式是通过 `from_bytes_store` 方法。需要以下参数：

- `underlying_embedder`：基础嵌入器，用于生成嵌入。
- `document_embedding_cache`：用于缓存文档嵌入的 `ByteStore`。
- `batch_size`：批量大小，可选。
- `namespace`：命名空间，用于避免不同模型之间的冲突。

### 使用注意事项

- 设置 `namespace` 参数，以避免不同嵌入模型的冲突。
- 默认不缓存查询嵌入，如需缓存，需设置 `query_embedding_cache`。

## 代码示例

以下是使用 `FAISS` 向量存储和本地文件系统缓存的示例：

```python
# 安装必要的包
%pip install --upgrade --quiet langchain-openai faiss-cpu

from langchain.storage import LocalFileStore
from langchain_community.document_loaders import TextLoader
from langchain_community.vectorstores import FAISS
from langchain_openai import OpenAIEmbeddings
from langchain_text_splitters import CharacterTextSplitter

# 初始化嵌入器
underlying_embeddings = OpenAIEmbeddings()

# 设置缓存
store = LocalFileStore("./cache/")

# 创建缓存嵌入器
cached_embedder = CacheBackedEmbeddings.from_bytes_store(
    underlying_embeddings, store, namespace=underlying_embeddings.model
)

# 加载文档并分块
raw_documents = TextLoader("state_of_the_union.txt").load()
text_splitter = CharacterTextSplitter(chunk_size=1000, chunk_overlap=0)
documents = text_splitter.split_documents(raw_documents)

# 创建向量存储
%%time
db = FAISS.from_documents(documents, cached_embedder)

# 再次创建向量存储，查看性能提升
%%time
db2 = FAISS.from_documents(documents, cached_embedder)

# 查看缓存中的嵌入
print(list(store.yield_keys())[:5])

常见问题和解决方案

  1. 缓存冲突：未设置 namespace 可能导致不同模型生成的相同文本嵌入冲突。确保为每个模型设置唯一的 namespace。

  2. 性能提升微小：如果缓存并未显著提高性能，检查缓存的设置是否正确，以及存储路径的IO性能。

总结和进一步学习资源

缓存嵌入是一种高效的方法来提升文本处理任务中的性能。通过合理配置和使用，可以大幅度减少计算开销。

参考资料

  • LangChain API Reference
  • FAISS Documentation
  • OpenAI Embeddings

如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！


---END---
avatar
文章
阅读
粉丝