0) 摘要对比结果
模型服务框架完整对比
| 特性/框架 | Triton Inference Server | TorchServe | TensorFlow Serving | KServe | Seldon Core | MLServer |
|---|
| CPU 支持 | ✅ | ✅ | ✅ | 取决 runtime | 取决后端 | ✅ |
| GPU 支持 | ✅（NVIDIA GPU 优化强） | ✅（基础 PyTorch GPU） | ✅（TF GPU 优化） | 取决 runtime | 取决后端 | 取决后端 |
| 动态 Batching | 高级 | 支持（基础） | 支持（基础） | 取决 runtime | 取决后端 | 支持（较基础） |
| 并发执行 | 优化 | 有限 | 有限 | 取决 runtime | 取决后端 | 有 |
| 硬件加速优化 | TensorRT+CUDNN 深度优化 | 基础 | TF GPU 优化 | 取决 runtime | 取决后端 | 取决后端 |
| 支持框架 | TF, PyTorch, ONNX, TensorRT, 等 | PyTorch 主要 | TensorFlow 主要 | 多（通过 runtime：Triton, TF Serving, TorchServe…） | 多（任意容器） | 多（Open Inference + backend） |
| 支持模型格式 | ONNX, TensorRT, SavedModel, TorchScript… | TorchScript/.mar, 可 ONNX | SavedModel, Keras | 取决 runtime * | 取决后端 | ONNX, TF, PyTorch 等 |
| 协议/API | REST/gRPC（自定义/高性能） | REST/gRPC（TorchServe schema） | REST/gRPC（TF Serving API） | KServe Prediction API (v1/v2) | Seldon API | Open Inference Protocol v2 (HTTP/gRPC) |
| 部署简易度 | 中等（需 config + container） | 较简易（CLI + 快速启动） | 中等 | 复杂（Kubernetes CRD） | 复杂（Kubernetes CRD） | 简易（container + spec） |
| Kubernetes 原生 | 是（可容器/K8s） | 否（但可部署到 K8s） | 否（但可容器/K8s） | 是（CRD+autoscale） | 是（CRD+路由） | 否（可与 KServe/Seldon 集成） |
| 多模型加载 | 支持 | 支持 | 支持 | 支持 | 支持 | 支持 |
| 模型版本管理 | 支持 | 支持 | 支持 | 支持 | 支持 | 支持 |
| 流量控制/灰度发布 | 基本 | 无 | 无 | 是 | 是 | 需额外 |
| 典型场景 | GPU 高性能、混合框架 | PyTorch 快速上线 | TensorFlow 专用 | 云原生、大规模多框架 | 企业级路由、管道 | 标准化推理 + 灵活 backend |
*注：表中 “取决 runtime/后端” 指 KServe/Seldon Core 依赖实际运行时（如 Triton、TensorFlow Serving、MLServer）。
1) 主要模型服务框架（分类与定位）
| 框架 | 类型定位 | 主要用途 |
|---|
| Triton Inference Server | 高性能通用推理服务器 | 高吞吐、低延迟、GPU/CPU 深度学习推理 |
| TorchServe | PyTorch 官方推理服务 | PyTorch 模型生产部署 |
| KServe | 云原生模型服务控制层 | Kubernetes 原生统一推理平台 |
| TensorFlow Serving | TF 模型推理 | TensorFlow 模型服务 |
| Seldon Core | Kubernetes 推理平台 | 复杂推理图、路由、A/B 测试 |
| MLServer | 通用推理运行时（Open Inference Protocol） | 标准化 REST/gRPC 推理 |
2) 支持框架 & 多框架能力
| 框架 | PyTorch | TensorFlow | ONNX | 其他（XGBoost/SKLearn 等） |
|---|
| Triton | ✓ | ✓ | ✓ | Custom/扩展 |
| TorchServe | ✓（仅 PyTorch） | ✗ | 部分（TorchScript/ONNX via conversion） | |
| KServe | ✓（via runtimes） | ✓ | ✓ | 多种 runtime |
| TensorFlow Serving | ✗（需转换） | ✓ | ✗ | |
| Seldon Core | ✓ | ✓ | ✓ | ✓ |
| MLServer | ✓ | ✓（via backend） | ✓（标准 Open Inference） | ✓ |
- Triton 是真正多框架服务器，支持全部主流格式。
- TorchServe 本质上是 PyTorch 专用，不原生支持像 TensorFlow 这样其他框架。
- KServe 不是单一 Server，而是 控制层，可以组合多个 runtime（如 Triton、TorchServe、MLServer 等）来实现多框架服务。
3) 协议与 API 规范
| 框架 | REST/gRPC | 标准化推理协议 | 备注 |
|---|
| Triton | HTTP/gRPC | 支持自定义协议 | 高性能本地客户端/服务器端协议 |
| TorchServe | HTTP/gRPC | 不是标准推理协议 | 自定义 request/response 结构 |
| KServe | HTTP/gRPC | KServe Prediction API (v1 / v2) | 统一战略 API，兼容多个 runtime |
| TensorFlow Serving | gRPC/REST | TF Serving API | TensorFlow 标准 |
| MLServer | HTTP/gRPC | Open Inference Protocol (V2) | 标准化协议 |
| Seldon Core | HTTP/gRPC | Seldon API +可配置 | 支持多协议层 |
说明：
- TorchServe API 不是标准化推理协议，不直接兼容 Triton/KServe 标准 API。
- KServe 的 Inference API（v1/v2） 标准化程度较高，是跨 runtime 的统一入口。
- MLServer 的 Open Inference Protocol 是生态推荐的跨语言标准。
4) Kubernetes 原生支持
| 框架 | Kubernetes 原生 | 自动扩缩容 | Canary / 流量分割 |
|---|
| KServe | 原生 | 是 | 是 |
| Seldon Core | 原生 | 是 | 是 |
| Triton | 容器部署 | via K8s config | 可通过 ingress/mesh 实现 |
| TorchServe | 容器部署 | via K8s | via 外部部署 |
| MLServer | 容器部署 | via K8s | 可配置 |
| TF Serving | 容器部署 | via K8s | 可配置 |
- KServe / Seldon 是 Kubernetes 原生 CRD 层（自动扩缩、流量路由），可无缝与云原生 CI/CD 结合。
- Triton/TorchServe 本身不是 Kubernetes 管理控制面，但常以容器形式部署于 K8s。
5) 性能与优化能力
| 框架 | 动态批处理 | 并发模型执行 | GPU 优化 |
|---|
| Triton | 高级支持 | ✓ | 顶级（TensorRT、CUDA） |
| TorchServe | 支持（较基础） | 限制 | 基础 PyTorch GPU |
| KServe | 依赖 runtime | 取决于 runtime | |
| TensorFlow Serving | 基础 batching | ✓ | TF GPU 优化 |
| MLServer | 基础 batching | ✓ | 取决于 backend |
| Seldon Core | 路由层能力 | 取决模型服务器 | 取决后端 |
- Triton 在 GPU 上动态批处理、并发模型执行等性能优化方面处于行业领先地位（尤其配合 TensorRT）。
- TorchServe 的性能简单有效，但在高度并发、硬件优化上不如 Triton。
6) 流行程度与社区趋势
| 框架 | 社区/行业热度 | 推荐程度 |
|---|
| Triton | 高（广泛用于生产 & GPU 大规模部署） | ⭐⭐⭐⭐⭐ |
| KServe | 高（云原生统一平台） | ⭐⭐⭐⭐ |
| Seldon Core | 中高（复杂路由、企业级） | ⭐⭐⭐⭐ |
| TorchServe | 中（PyTorch 社区） | ⭐⭐ |
| MLServer | 增长中 | ⭐⭐⭐ |
| TensorFlow Serving | 中（TF 专用） | ⭐⭐⭐ |
- Triton 在要求高性能、GPU 优化、混合框架部署的场景里广泛采用。
- TorchServe 在 PyTorch 社区内部曾经流行，但维护热度有所下降（部分社区讨论显示不再活跃更新）。
- KServe 作为云原生平台，在大规模 Kubernetes 环境下越来越成为推荐选择。
7) 典型场景建议（总结）
| 场景 | 推荐方案 |
|---|
| 单机/小规模 PyTorch 部署 | TorchServe / FastAPI |
| GPU 优化 & 高吞吐部署 | Triton Inference Server |
| Kubernetes 云原生大规模部署 | KServe + Triton/MLServer |
| 复杂推理图/A/B 测试 | Seldon Core / KServe |
| 标准化跨语言推理 | MLServer（Open Inference） MLServer（开放推理） |
8) 关键结论
- TorchServe 不是标准化推理协议，不兼容 KServe/Triton API。
- Triton 是性能最强、跨框架最广的推理服务器。
- KServe 是云原生统一平台，可集成多个 runtime（包括 Triton、TorchServe、MLServer）。
- TensorFlow Serving/Seldon Core/MLServer 各有细分优势。
