大模型从评估到上线:模型评估、部署与Agent完整流程实践
摘要:大模型项目不只有算法与Prompt开发,还包含模型效果评估、服务化部署、可视化交互以及Agent业务流程落地。本文从实际工程视角,梳理模型评估、API接口部署测试、Web可视化演示、Agent流程实现,并附带可运行代码示例,完成从模型到可使用应用的完整链路。
一、前言
在大模型应用开发中,完成模型微调、RAG/Agent算法逻辑只是工作的一部分。一个可用的大模型应用,必须走完:模型效果评估 → 服务部署(API接口)→ Web可视化交互 → Agent业务流程封装。 很多学习者会重算法、轻工程,忽略评估与部署环节,导致算法逻辑写好了,却无法对外提供服务。本文针对这几个工程环节做讲解并提供Demo代码。
二、模型的评估
2.1 什么是模型评估
模型评估是上线前必不可少的步骤,目的是量化检验模型输出质量,判断模型是否满足业务需求,识别幻觉、回答错误、响应慢等问题。
评估主要分为两大类:
- 自动评估:使用数据集,通过指标自动打分,如准确率、召回率、F1、相似度、幻觉检测;适合批量跑测试集。
- 人工评估:人工看回答,从有用性、真实性、格式、流畅度做打分;适合业务场景样本。
评估重点关注维度:回答准确性、是否产生幻觉、输出格式合规性、响应耗时。 只有评估达标,才进入部署阶段。
简易自动评估代码片段
"""简单的大模型输出评估Demo:对比参考答案做相似度打分"""
from difflib import SequenceMatcher
def calc_similarity(a: str, b: str) -> float:
"""计算文本相似度,简单用于效果评估"""
return round(SequenceMatcher(None, a, b).ratio(), 3)
def model_evaluate(test_samples: list):
"""批量评估函数"""
total_score = 0.0
for sample in test_samples:
question = sample["question"]
predict_ans = sample["predict"] # 模型输出
reference_ans = sample["reference"] # 标准答案
score = calc_similarity(predict_ans, reference_ans)
total_score += score
print(f"Q:{question}\n模型输出:{predict_ans}\n参考答案:{reference_ans}\n相似度得分:{score}\n---")
avg_score = total_score / len(test_samples)
print(f"测试集平均得分:{avg_score:.3f}")
return avg_score
if __name__ == "__main__":
test_case = [
{
"question": "什么是Agentic RAG",
"predict": "Agentic RAG是把检索作为Agent工具,支持多轮动态检索",
"reference": "Agentic RAG将检索作为Agent可调用工具,实现动态多轮检索增强"
},
{
"question": "什么是ReAct",
"predict": "ReAct是推理+行动的Agent框架",
"reference": "ReAct是Reason+Act,推理与行动交替执行的大模型Agent框架"
}
]
model_evaluate(test_case)
生产提示: 真实项目中不会只用字符串相似度;可以用大模型做LLM-as-judge、RAGAS等专业评估框架。
三、模型部署:接口定义与调用测试
算法逻辑完成之后,需要把模型封装成HTTP接口,让其他程序可以调用。 我们使用FastAPI快速封装推理接口,定义请求入参、返回出参,然后编写客户端代码测试调用。
3.1 服务端代码 main.py
# main.py 模型推理API服务
from fastapi import FastAPI
from pydantic import BaseModel
import uvicorn
app = FastAPI(title="大模型推理服务")
# 定义请求体数据模型(接口入参定义)
class LLMRequest(BaseModel):
prompt: str
temperature: float = 0.7
max_tokens: int = 512
# 定义返回体结构
class LLMResponse(BaseModel):
code: int
msg: str
answer: str
def mock_llm_infer(prompt: str, temperature: float, max_tokens:int) -> str:
"""模拟大模型推理,实际替换成真实模型/大模型SDK调用"""
return f"模型应答,收到问题:{prompt}"
@app.post("/llm/infer", response_model=LLMResponse)
def llm_infer_api(req: LLMRequest):
ans = mock_llm_infer(req.prompt, req.temperature, req.max_tokens)
return LLMResponse(code=0, msg="success", answer=ans)
if __name__ == "__main__":
uvicorn.run(app, host="0.0.0.0", port=8000)
运行服务:
pip install fastapi uvicorn
python main.py
启动后访问文档地址:[http://127.0.0.1:8000/docs](http://127.0.0.1:8000/docs),可以在网页直接调试接口。
3.2 客户端调用测试 client.py
# client.py 接口调用测试
import requests
url = "[http://127.0.0.1:8000/llm/infer](http://127.0.0.1:8000/llm/infer)"
payload = {
"prompt": "请介绍ReAct框架",
"temperature":0.6,
"max_tokens":512
}
resp = requests.post(url, json=payload)
result = resp.json()
print("接口返回结果:")
print(result)
四、模型部署:Web可视化部署和测试
API适合程序调用,但是测试人员、产品需要可视化页面来直观交互。这里写极简Web页面,前端调用上面的推理接口。
这里提供一个简单html页面,直接浏览器打开即可,不需要额外前端框架。
index.html
<!DOCTYPE html>
<html lang="zh-CN">
<head>
<meta charset="UTF-8">
<title>大模型可视化测试页面</title>
</head>
<body>
<h2>大模型测试</h2>
<div>
<textarea id="prompt" rows="5" cols="60" placeholder="请输入你的问题"></textarea>
<br/>
<button onclick="sendRequest()">提交请求</button>
<div id="result" style="margin-top:20px;white-space: pre-wrap;"></div>
</div>
<script>
async function sendRequest(){
const prompt = document.getElementById("prompt").value;
const resDom = document.getElementById("result");
resDom.innerText = "请求中...";
try{
const resp = await fetch("[http://127.0.0.1:8000/llm/infer](http://127.0.0.1:8000/llm/infer)",{
method:"POST",
headers:{"Content-Type":"application/json"},
body:JSON.stringify({prompt:prompt,temperature:0.7,max_tokens:512})
})
const data = await resp.json();
resDom.innerText = "模型回答:\n" + data.answer;
}catch(e){
resDom.innerText = "请求异常:"+e;
}
}
</script>
</body>
</html>
注意跨域问题:生产环境后端需要配置CORS中间件允许前端访问。 fastapi增加跨域:
from fastapi.middleware.cors import CORSMiddleware
app.add_middleware(
CORSMiddleware,
allow_origins=["*"],
allow_credentials=True,
allow_methods=["*"],
allow_headers=["*"],
)
打开index.html,输入问题,就可以网页上直接测试模型效果,适合演示、手工测试。
五、Agent流程实现介绍
前面部署好了基础大模型推理服务,就可以在服务之上封装Agent完整业务流程。 回顾ReAct Agent核心链路:Thought思考 → Action调用工具 → Observation拿到结果 → 循环直到输出答案。
Agent流程实现关键点:
- 调用底层大模型接口(上面我们部署好的
/llm/infer); - 维护Agent历史上下文;
- 解析模型输出的Action,调度工具执行;
- 把工具结果回传给大模型,循环执行;
- 设置最大循环次数,避免死循环。
Agent简易流程伪代码示例(调用本地部署API)
import requests
import json
# 调用我们刚刚部署好的本地大模型接口
def local_llm_call(prompt: str):
url = "[http://127.0.0.1:8000/llm/infer](http://127.0.0.1:8000/llm/infer)"
resp = requests.post(url, json={"prompt": prompt, "temperature":0})
return resp.json()["answer"]
def simple_agent_run(question:str, max_step=3):
history = ""
react_prompt = """
你是ReAct Agent。输出格式:
Thought:你的思考
Action:{{"tool":"search","args":{"q":"查询词"}}}
或者当信息足够输出 Answer:最终答案
"""
for step in range(max_step):
full_prompt = f"{react_prompt}\n历史:{history}\n用户问题:{question}"
llm_out = local_llm_call(full_prompt)
print(f"\nStep {step+1} LLM输出:\n{llm_out}")
if "Answer:" in llm_out:
return llm_out.split("Answer:")[-1]
# 模拟解析Action、调用工具,实际项目做json解析
history += f"\n{llm_out}\nObservation:模拟工具返回结果"
return "达到最大步骤限制"
if __name__ == "__main__":
res = simple_agent_run("介绍Agentic RAG")
print("\nAgent最终结果:", res)
说明:本示例中
mock_llm_infer只是模拟,实际项目把这个替换成真实大模型、或者接入OpenAI、通义千问等大模型SDK。
六、整体流程串联总结
- 模型评估:使用测试数据集做自动+人工评估,确认模型能力达标;
- 接口部署:FastAPI封装推理HTTP接口,定义入参出参,编写客户端代码完成调用测试,供程序调用;
- Web可视化部署:搭建简单前端页面,调用后端接口,提供人工测试与演示能力;
- Agent流程实现:基于已经部署好的大模型接口,封装Agent循环逻辑,实现思考、工具调用、迭代推理,完成复杂任务。
整个链路把一个算法脚本,变成可以被业务系统、测试人员使用的线上服务。
七、生产环境拓展方向
- 评估:接入RAGAS、LLM-as-judge,搭建评估平台;
- 部署:增加并发、限流、日志、监控,使用gunicorn;容器Docker打包部署;
- Web可视化:可以使用Gradio / Streamlit快速搭建原型;
- Agent:增加输出格式校验、异常捕获、更多工具、记忆模块。