Triton部署 - 用户6871739327641的收藏集 - 掘金

Triton部署

用户6871739327641

更多收藏集

2篇文章 · 0订阅

模型推理服务化框架Triton保姆式教程（二）：架构解析

前面给大家分享了模型推理服务化框架Triton保姆式教程（一）：快速入门，对于一款模型推理服务框架，通常关注的指标有延时、吞吐、效率、灵活性和可扩展性等。那么，针对每个点应该如何去解决，这是在进行推理

吃果冻不吐果冻皮
2年前
3.3k
6
评论

Triton Inference Server and Client | Triton部署

Deploy/Server 常见的模型部署方式有以下几种服务器端部署：模型推理服务部署在服务器上，从而进行高性能完成推理任务；边缘设备端部署：模型部署在手机或者其他端侧设备，利用端侧算力完成推

iResearch666
2年前
2.1k
3
评论