大模型从评估到上线:模型评估、部署与Agent完整流程实践

3 阅读7分钟

大模型从评估到上线:模型评估、部署与Agent完整流程实践

摘要:大模型项目不只有算法与Prompt开发,还包含模型效果评估、服务化部署、可视化交互以及Agent业务流程落地。本文从实际工程视角,梳理模型评估、API接口部署测试、Web可视化演示、Agent流程实现,并附带可运行代码示例,完成从模型到可使用应用的完整链路。

一、前言

在大模型应用开发中,完成模型微调、RAG/Agent算法逻辑只是工作的一部分。一个可用的大模型应用,必须走完:模型效果评估 → 服务部署(API接口)→ Web可视化交互 → Agent业务流程封装。 很多学习者会重算法、轻工程,忽略评估与部署环节,导致算法逻辑写好了,却无法对外提供服务。本文针对这几个工程环节做讲解并提供Demo代码。

二、模型的评估

2.1 什么是模型评估

模型评估是上线前必不可少的步骤,目的是量化检验模型输出质量,判断模型是否满足业务需求,识别幻觉、回答错误、响应慢等问题。

评估主要分为两大类:

  1. 自动评估:使用数据集,通过指标自动打分,如准确率、召回率、F1、相似度、幻觉检测;适合批量跑测试集。
  2. 人工评估:人工看回答,从有用性、真实性、格式、流畅度做打分;适合业务场景样本。

评估重点关注维度:回答准确性、是否产生幻觉、输出格式合规性、响应耗时。 只有评估达标,才进入部署阶段。

简易自动评估代码片段

"""简单的大模型输出评估Demo:对比参考答案做相似度打分"""
from difflib import SequenceMatcher

def calc_similarity(a: str, b: str) -> float:
    """计算文本相似度,简单用于效果评估"""
    return round(SequenceMatcher(None, a, b).ratio(), 3)

def model_evaluate(test_samples: list):
    """批量评估函数"""
    total_score = 0.0
    for sample in test_samples:
        question = sample["question"]
        predict_ans = sample["predict"]   # 模型输出
        reference_ans = sample["reference"] # 标准答案
        score = calc_similarity(predict_ans, reference_ans)
        total_score += score
        print(f"Q:{question}\n模型输出:{predict_ans}\n参考答案:{reference_ans}\n相似度得分:{score}\n---")
    avg_score = total_score / len(test_samples)
    print(f"测试集平均得分:{avg_score:.3f}")
    return avg_score


if __name__ == "__main__":
    test_case = [
        {
            "question": "什么是Agentic RAG",
            "predict": "Agentic RAG是把检索作为Agent工具,支持多轮动态检索",
            "reference": "Agentic RAG将检索作为Agent可调用工具,实现动态多轮检索增强"
        },
        {
            "question": "什么是ReAct",
            "predict": "ReAct是推理+行动的Agent框架",
            "reference": "ReAct是Reason+Act,推理与行动交替执行的大模型Agent框架"
        }
    ]
    model_evaluate(test_case)

生产提示: 真实项目中不会只用字符串相似度;可以用大模型做LLM-as-judge、RAGAS等专业评估框架。

三、模型部署:接口定义与调用测试

算法逻辑完成之后,需要把模型封装成HTTP接口,让其他程序可以调用。 我们使用FastAPI快速封装推理接口,定义请求入参、返回出参,然后编写客户端代码测试调用。

3.1 服务端代码 main.py

# main.py 模型推理API服务
from fastapi import FastAPI
from pydantic import BaseModel
import uvicorn

app = FastAPI(title="大模型推理服务")

# 定义请求体数据模型(接口入参定义)
class LLMRequest(BaseModel):
    prompt: str
    temperature: float = 0.7
    max_tokens: int = 512

# 定义返回体结构
class LLMResponse(BaseModel):
    code: int
    msg: str
    answer: str

def mock_llm_infer(prompt: str, temperature: float, max_tokens:int) -> str:
    """模拟大模型推理,实际替换成真实模型/大模型SDK调用"""
    return f"模型应答,收到问题:{prompt}"


@app.post("/llm/infer", response_model=LLMResponse)
def llm_infer_api(req: LLMRequest):
    ans = mock_llm_infer(req.prompt, req.temperature, req.max_tokens)
    return LLMResponse(code=0, msg="success", answer=ans)


if __name__ == "__main__":
    uvicorn.run(app, host="0.0.0.0", port=8000)

运行服务:

pip install fastapi uvicorn
python main.py

启动后访问文档地址:[http://127.0.0.1:8000/docs](http://127.0.0.1:8000/docs),可以在网页直接调试接口。

3.2 客户端调用测试 client.py

# client.py 接口调用测试
import requests

url = "[http://127.0.0.1:8000/llm/infer](http://127.0.0.1:8000/llm/infer)"
payload = {
    "prompt": "请介绍ReAct框架",
    "temperature":0.6,
    "max_tokens":512
}

resp = requests.post(url, json=payload)
result = resp.json()
print("接口返回结果:")
print(result)

四、模型部署:Web可视化部署和测试

API适合程序调用,但是测试人员、产品需要可视化页面来直观交互。这里写极简Web页面,前端调用上面的推理接口。

这里提供一个简单html页面,直接浏览器打开即可,不需要额外前端框架。

index.html

<!DOCTYPE html>
<html lang="zh-CN">
<head>
    <meta charset="UTF-8">
    <title>大模型可视化测试页面</title>
</head>
<body>
    <h2>大模型测试</h2>
    <div>
        <textarea id="prompt" rows="5" cols="60" placeholder="请输入你的问题"></textarea>
        <br/>
        <button onclick="sendRequest()">提交请求</button>
        <div id="result" style="margin-top:20px;white-space: pre-wrap;"></div>
    </div>

<script>
async function sendRequest(){
    const prompt = document.getElementById("prompt").value;
    const resDom = document.getElementById("result");
    resDom.innerText = "请求中...";
    try{
        const resp = await fetch("[http://127.0.0.1:8000/llm/infer](http://127.0.0.1:8000/llm/infer)",{
            method:"POST",
            headers:{"Content-Type":"application/json"},
            body:JSON.stringify({prompt:prompt,temperature:0.7,max_tokens:512})
        })
        const data = await resp.json();
        resDom.innerText = "模型回答:\n" + data.answer;
    }catch(e){
        resDom.innerText = "请求异常:"+e;
    }
}
</script>
</body>
</html>

注意跨域问题:生产环境后端需要配置CORS中间件允许前端访问。 fastapi增加跨域:

from fastapi.middleware.cors import CORSMiddleware

app.add_middleware(
    CORSMiddleware,
    allow_origins=["*"],
    allow_credentials=True,
    allow_methods=["*"],
    allow_headers=["*"],
)

打开index.html,输入问题,就可以网页上直接测试模型效果,适合演示、手工测试。

五、Agent流程实现介绍

前面部署好了基础大模型推理服务,就可以在服务之上封装Agent完整业务流程。 回顾ReAct Agent核心链路:Thought思考 → Action调用工具 → Observation拿到结果 → 循环直到输出答案。

Agent流程实现关键点:

  1. 调用底层大模型接口(上面我们部署好的/llm/infer);
  2. 维护Agent历史上下文;
  3. 解析模型输出的Action,调度工具执行;
  4. 把工具结果回传给大模型,循环执行;
  5. 设置最大循环次数,避免死循环。

Agent简易流程伪代码示例(调用本地部署API)

import requests
import json

# 调用我们刚刚部署好的本地大模型接口
def local_llm_call(prompt: str):
    url = "[http://127.0.0.1:8000/llm/infer](http://127.0.0.1:8000/llm/infer)"
    resp = requests.post(url, json={"prompt": prompt, "temperature":0})
    return resp.json()["answer"]


def simple_agent_run(question:str, max_step=3):
    history = ""
    react_prompt = """
你是ReAct Agent。输出格式:
Thought:你的思考
Action:{{"tool":"search","args":{"q":"查询词"}}}
或者当信息足够输出 Answer:最终答案
"""
    for step in range(max_step):
        full_prompt = f"{react_prompt}\n历史:{history}\n用户问题:{question}"
        llm_out = local_llm_call(full_prompt)
        print(f"\nStep {step+1} LLM输出:\n{llm_out}")
        if "Answer:" in llm_out:
            return llm_out.split("Answer:")[-1]
        # 模拟解析Action、调用工具,实际项目做json解析
        history += f"\n{llm_out}\nObservation:模拟工具返回结果"
    return "达到最大步骤限制"


if __name__ == "__main__":
    res = simple_agent_run("介绍Agentic RAG")
    print("\nAgent最终结果:", res)

说明:本示例中mock_llm_infer只是模拟,实际项目把这个替换成真实大模型、或者接入OpenAI、通义千问等大模型SDK。

六、整体流程串联总结

  1. 模型评估:使用测试数据集做自动+人工评估,确认模型能力达标;
  2. 接口部署:FastAPI封装推理HTTP接口,定义入参出参,编写客户端代码完成调用测试,供程序调用;
  3. Web可视化部署:搭建简单前端页面,调用后端接口,提供人工测试与演示能力;
  4. Agent流程实现:基于已经部署好的大模型接口,封装Agent循环逻辑,实现思考、工具调用、迭代推理,完成复杂任务。

整个链路把一个算法脚本,变成可以被业务系统、测试人员使用的线上服务。

七、生产环境拓展方向

  1. 评估:接入RAGAS、LLM-as-judge,搭建评估平台;
  2. 部署:增加并发、限流、日志、监控,使用gunicorn;容器Docker打包部署;
  3. Web可视化:可以使用Gradio / Streamlit快速搭建原型;
  4. Agent:增加输出格式校验、异常捕获、更多工具、记忆模块。