inceptionv1

优点： 1*1卷积核作用

inceptionv2

两个33卷积核=55三个33=77，且参数量233cn<55cn，333cn<77cn

inceptionv3

3x3分解成（1x3,3x1），优点是：加速计算，又可以将1个卷积拆成2个卷积，使得网络深度进一步增加，增加了网络的非线性（每增加一层都要进行ReLU）。

resnet

1. 可以认为Residual Learning的初衷，其实是让模型的内部结构至少有恒等映射的能力。以保证在堆叠网络的过程中，网络至少不会因为继续堆叠而产生退化，假设一个比较浅的网络已经可以达到不错的效果，那么即使之后堆上去的网络什么也不做，模型的效果也不会变差。
   已有的神经网络很难拟合潜在的恒等映射函数H(x) = x。但如果把网络设计为H(x) = F(x) + x，即直接把恒等映射作为网络的一部分。就可以把问题转化为学习一个残差函数F(x) = H(x) - x.只要F(x)=0，就构成了一个恒等映射H(x) = x。 而且，拟合残差至少比拟合恒等映射容易得多。
   一个Block中必须至少含有两个层，否则会直接把w1训成0吧
   结构：采用vgg思想，每隔x层，空间上/2（下采样）但深度翻倍。 也就是说，维度不一致体现在两个层面：空间上不一致（下采样即可），深度上不一致（1*1卷积升纬）

2. 跳连接相加可以实现不同分辨率特征的组合，因为浅层容易有高分辨率但是低级语义的特征，而深层的特征有高级语义，但分辨率就很低了。

3. 实现