嵌入式视觉

ViT 在 Transformer 架构的视觉模型的地位类似 ResNet模型。因为其模型“简单”且效果好，可扩展性强（scalable，模型越大效果越好），是Transformer在CV的奠基之作。

本文首先描述了 ncnn 推理框架的依赖库的知识，及相关 cpu 和内存硬件特性描述。最后结合 shufflenet sample 解析了，模型推理的全部流程，详解了 sample 代码的每个细节。

NNIE 是Neural Network Inference Engine 的简称，是海思媒体 SoC 中专门针对神经网络特别是深度学习卷积神经网络进行加速处理的硬件单元，可以理解为 CNN 加速器。

SSH（安全外壳协议 Secure Shell Protocol，简称SSH）是一种加密的网络传输协议，用于在网络中实现客户端和服务端的连接，典型的如我们在本地电脑通过 SSH 连接远程服务器。

所谓模型剪枝，其实是一种从神经网络中移除"不必要"权重或偏差（weigths/bias）的模型压缩技术。本文深入描述了 pytorch 框架的几种剪枝 API，包括函数功能和参数定义，并给出示例代码。

在做图像和 nlp 的数组数据处理的时候，经常需要实现两个数组堆叠或者连接的功能，这就需用到 numpy 库的一些函数，本文总结了常用堆叠函数: stack、vstack和hstack等的用法。

模型剪枝是应用非常广的一种模型压缩方法，其可以直接减少模型中的参数量。本文会对模型剪枝的定义、发展历程、分类以及算法原理进行详细的介绍。

本文为《机器学习》西瓜书第2、5、9章第学习笔记，与原书第区别在于对关键知识点进行了内容提炼和给出了较为详细的公式推导，针对经典聚类算法，给出了自己的精简复现代码。

残差网络(ResNet)的提出是为了解决深度神经网络的“退化”（优化）问题。ResNet 通过设计残差块结构，调整模型结构，让更深的模型能够有效训练更训练。