深度学习与计算机视觉教程 ◉ 斯坦福CS231n最全笔记

本教程依托于 Stanford 斯坦福大学的《CS231n：深度学习与计算机视觉》，对深度学习与计算机视觉方向的图像分类、CNN、RNN、目标检测、图像分割、生成模型等各个主题做了体系化的梳理

本文讲解了斯坦福大学 CS231n 课程的内容框架（深度学习 + 卷积神经网络 + 计算机视觉应用）和学习基础，帮助了解计算机视觉的历史和技术发展【对应 CS231n Lecture 1】

图像分类是计算机视觉的核心任务。本文讲解数据驱动的模型算法，包括最邻近算法、KNN分类器、线性分类器的原理、各自的优缺点和实际应用注意点【对应 CS231n Lecture 2】

本文讲解了损失函数（数据损失与正则损失）、多类 SVM 损失与Softmax损失比较、梯度计算方法（数值梯度与解析梯度）、梯度下降优化算法等【对应 CS231n Lecture 3】

本文讲解了神经网络计算图、前向传播与反向传播、标量与向量化形式计算、求导链式法则应用、神经网络结构、 激活函数等内容【对应 CS231n Lecture 4】

本文讲解了卷积神经网络的重点知识：卷积层、池化层、ReLU层、全连接层、局部连接、参数共享、最大池化、步长、零填充、经典案例等【对应 CS231n Lecture 5】

本文讲解训练神经网络的核心方法：初始化（激活函数、数据预处理、权重初始化、正则化、梯度检查），训练动态（监控学习过程、参数更新、超参数优化）等【对应 CS231n Lecture 6】

本文讲解训练神经网络的核心方法：优化方式（SGD、动量更新、Nesterov动量、Adagrad、RMSProp、Adam等），正则化（L2、Dropout），迁移学习，模型集成等

本文讲解了深度学习硬件知识（CPU、GPU、TPU），主流深度学习框架（TensorFlow、PyTorch）相关知识，借助于工具可以实际搭建与训练神经网络【对应 CS231n Lecture 8】

本文讲解最广泛使用的卷积神经网络，包括经典结构（AlexNet、VGG、GoogLeNet、ResNet）和一些新的结构（Network in Network、Resnet改进、FractalNet、

本文讲解了神经网络参数与复杂度计算，以及主流轻量级网络，包括SqueezeNet、Xception、ShuffleNet v1~v2、MobileNet v1~v3等

本文讲解了循环神经网络RNN的多种形式（1对1、1对多、多对1、多对多），语言模型 ，图像标注，视觉问答，注意力模型，RNN梯度流等【对应 CS231n Lecture 10】

本文讲解两阶段（two stage）目标检测的发展史和典型算法：R-CNN、SPP-Net、Fast R-CNN、Faster R-CNN等的算法结构和核心流程【 CS231n Lecture 11】

本文讲解一阶段（one stage）的目标检测方法，包括 YOLO 系列算法（V1~V5）、SSD、RetinaNet的算法思想、网络结构、训练细节和性能效果等【CS231n Lecture 11】

本文讲解了图像语义分割的定义，常见应用（自动驾驶、医学影像诊断），评估指标（mIoU、mAcc），典型语义分割算法等【对应 CS231n Lecture 11】

本文讲解了一些理解 CNN 可视化的方法（特征、滤波器可视化），以及一些有趣的应用，如DeepDream、图像神经风格迁移（特征反演 + 纹理生成）等【对应 CS231n Lecture 12】

本文讲解了无监督学习（聚类、PCA、特征学习、密度估计）和三种常用生成模型的原理及优缺点：Pixel RNN / Pixel CNN、变分自编码器VAE、生成对抗网络GAN【CS231n L13】

本文讲解了 Policy Gradient，结合policy-based 和 value-based 的 Actor-Critic 方法，以及在 Actor-Critic 基础上的 DDPG、A3C方

本文讲解了 Policy Gradient，结合policy-based 和 value-based 的 Actor-Critic 方法，以及在 Actor-Critic 基础上的 DDPG、A3C