【OpenVino CPU模型加速（一）】openvino简介和环境安装

Eason_Sun
2,480 阅读2分钟

1. 什么是openvino？

openvino是Intel公司为自家硬件设计的一套开源深度学习工具库，提供模型优化、推理等一套与深度学习推理部署有关的功能。

  • 提供强大的推理引擎，显著地提高计算机视觉领域深度学习模型的推理性能，支持跨英特尔计算机视觉加速器（CPU、GPU、FPGA和神经计算棒（NCS2））的异构执行。
  • 提供模型引擎优化器功能，支持多种深度学习框架产出的模型（包括TensorFlow、Pytorch、MXNET、Caffe、ONNX等）的转化。
  • 提供Intel®异构计算通用API，减少英特尔硬件平台上推理部署所消耗的资源。

openvino_arch.png

使用pipeline：

  1. 使用深度学习框架（如PyTorch）训练一个深度学习模型。
  2. 通过模型优化器转换模型，openvino支持onnx格式模型文件直接进行推理，但是更建议转为openvino的IR格式（包括.bin和.xml），能最大程度发挥出openvino的加速效果。
  3. 最后，应用程序会使用推理引擎和调用IR文件进行推理。

openvino-basic-workflow.png

2. openvino环境安装

环境：Ubuntu 16.04 （windows请自行查看官方文档进行安装）

官方安装指南：docs.openvino.ai/latest/open…

  1. 根据自己的系统配置，下载相应的openvino工具包：www.intel.com/content/www…

  2. 切到自己的压缩包路径下：

cd ~/intel
  1. 解压压缩包：
tar -xvzf l_openvino_toolkit_p_<version>.tgz
  1. 切到工具包目录：
cd ~/intel/l_openvino_toolkit_p_<version>

注：如果安装了别的版本的openvino，将以下两个路径删除或重命名即可。（来自官方说明文档）

  • ~/inference_engine_samples_build
  • ~/openvino_models
  1. 进行安装：
sudo ./install.sh
  1. 安装相关的外部软件依赖： 这里特别注意官方的提示（本人安装过程就不在默认目录下）：

openvino_dependencies_warning.png

cd ~/intel/openvino_2021.4.582/install_dependencies
sudo -E ./install_openvino_dependencies.sh
  1. 环境配置：
vim ~/.bashrc  # 根据需求，看是否更改/etc/profile
source ~/intel/openvino_2021.4.582/bin/setupvars.sh  # 写进环境变量文件
source ~/.bashrc

注：这里遇到bug自行查看脚本内容，定位解决。

  1. 安装模型优化模块：
cd deployment_tools/model_optimizer/install_prerequisites
sudo ./install_prerequisites.sh

注：这里遇到问题也可自行手动安装第三方依赖包。

  1. Python的openvino包安装：
pip install openvino

这里如果报错not found libpython3.6m.so类的错误可将.so文件复制到/usr/lib解决：

sudo cp /YOUR/PYTHON/DIRECTORY/lib/libpython3.6m.so.1.0 /usr/lib

验证python的openvino是否安装成功：

python -c "from openvino.inference_engine import IECore, IENetwork"

Reference:

  1. docs.openvino.ai/latest/inde…
  2. devcloud.intel.com/zh/edge/get…
avatar
文章
阅读
粉丝