模型推理服务

模型推理服务

模型推理服务

Model Inference Server框架及实战

等 4 人订阅共5篇文章创建于2022-10-29

Triton Pipeines的实现方式及对比

部署yolov5 Triton Pipelines中，简单介绍了BLS和Ensemble这两种实现Triton Pipelines的方式，本文进行了对比

2年前
1.4k
3
评论

高性能部署Yolov5 Triton service

在Triton中部署yolov5目标检测服务, 并对比分析了三种优化方式，在并发数逐渐增加下的性能。

2年前
742
4
评论

YOLOV5 TensorRT BatchedNMS

利用onnx_graphsurgeon改造原生detect层的输出张量，对接通过cuda实现的TensorRT batchedNMSPlugin

2年前
678
3
评论

利用Triton Pipelines部署yolov5 service

模型服务不仅包含 GPU based Inference，还包括preprocess和postprocess。通过Triton Pipelines可以提高服务的性能

2年前
738
3
评论

修改yolov5的detect层，提高Triton推理服务的性能

轻量化yolov5的detect层，提高模型部署在Nvidia Triton时的的吞吐和延迟等性能指标

2年前
840
3
评论