获得徽章 9
#每天一个知识点# GooleNet:使用inception块(使用不同超参数的卷积层和池化层来并行抽取不同的特征)，模型参数少，计算开销小，但层数多
#每天一个知识点# NIN块:卷积之后的全连接层还是参数太多，计算开销过大，所以使用1×1的卷积核来代替全连接层
#每天一个知识点# VGG:vgg网络将多个卷积层与一个池化层合并成一个vgg块，再使用多个vgg块来组成网络
#每天一个知识点# Alexnet:与lenet区别不大，但网络更大更深，并使用了relu作为激活函数和dropout等技术
#每天一个知识点# lenet:是最早成功的卷积神经网络之一，主要应用于数字识别
#每天一个知识点# 卷积神经网络:是一类前馈神经网络，是深度学习最经典的网络算法之一，其中的卷积运算其实是互相关运算
#每天一个知识点# 梯度消失:也是因为计算梯度的连乘方式，随着层数的加深，梯度迅速减小，难以训练
#每天一个知识点# 梯度爆炸:因为计算梯度的链式乘法，导致梯度反传时迅速增大，甚至超出范围，并且网络变得不稳定，难以训练
#每天一个知识点# 丢弃法(dropout):目前十分常用的缓解过拟合的方法，通过随机关闭一些网络中的神经元从而缓解过拟合，提高网络的泛化能力
#每天一个知识点# 权重衰退:通过正则化的方式让权重变化减小从而缓解过拟合
