深度学习的部署落地

【openvino CPU模型加速之一】openvino简介和环境安装 第一部分介绍openvino的内容和实质，第二部分介绍如何在Linux下安装OpenVino环境。

主要介绍openvino的API调用，以python为例，展现如何使用openvino进行同步和异步推理，以及它的加速效果。

想知道未来是不是 gRPC 的天下？本文会具体介绍两种 API 架构风格：REST 和 gRPC，并讨论它们之间的区别。不过，首先，我们会解释什么是 API，以及为什么它对微服务基础设施而言至关重要。

主要介绍当前优秀开源深度学习的模型服务化框架情况，包括TensorFlow Serving、Torch Serve、Triton、OpenVino Model Server等。