17_深度学习模型部署

深度学习模型部署方案：

1. 不追求性能可以用Docker做容器，用Kubernetes做集群，用python的flask做成微服务。

2. Tensorflow模型部署：可以用tf-serving，经典的就是3个服务：

3. Pytorch模型部署：DJL + pytorch， ONNX + pytorch

4. 模型最好用c++重写，像tensorflow,caffe,pytorch,mxnet可以直接编译成二进制。