Triz

Trainer类初始化部分——training(epoch)——训练部分validation(epoch)——验证部分main()主函数部分

注意：在__init__()函数中，比较难理解的是最后的step循环。需要结合论文3.1和4.1.1部分综合理解。每一步step都对应一个Block的建立过程，其中每一个Op都对应当前Block的一个输入张量。 接下来解释两个上面提到的函数和类，MixedOp()和ReLUCo…

train数据集对应一个CityscapesSegmentation，val数据集对应一个CityscapesSegmentation，test数据集也对应一个CityscapesSegmentation。 也即，cityscapes数据集其实被分成了三个独立的数据集。它们之间…

一开始真是被标题和摘要吓到了，怎么一篇论文里面塞了这么这么多的东西emmmmm。结果看完了发现，其实是在之间做完的基础上加了ASPP，又结合一些更新的模型运行的结果。 1、突出强调了空洞卷积(Atrous convolution)的重要性。能扩大Filter的感知域，而不增加计…

发现问题：随着神经网络的深度加深，会发生梯度消失/爆炸问题，网络不容易收敛。 解决问题：normalized initialization和immediate normalization layers.使几十层的神经网络可以用SGD方法训练并收敛(convergence)。 发…

今天开始阅读师兄给的deeplab项目代码，加油加油加油。 学会如何添加必选变量，可选变量，设置变量缩写，帮助信息，指定读入的变量类型，限制变量的输入范围choices，设置默认变量等。 batch-size过大，下降方向为整体方向，学习不到足够的东西，batch-size过小…

最近看完了论文《Fully Convolutional Networks for Semantic Segmentation》。还是花了不少时间的，第一次接触FCN，有很多知识点还没用完全理解。想趁热打铁，先自己梳理一下整篇论文。 1、提出了完整的FCN定义，并且举了具体例子阐…

看代码的过程中，发现自己的基础特别薄弱。要慢慢积累呀。 在我的一般印象中，深度神经网络区别于一般神经网络的地方，就在于它的“深度”两个字。那神经网络的深度对神经网络具体有什么影响呢？ 从Alexnet采取的7层神经网络开始，后有VGG为了探索神经网络最多能有多深，而采取的16/…

论文的精华部分主要集中在Section 4，其次是Section 5。下面开始进入正题： 1、ReLu —— 只向小于0的输出值下手，大于0的值保持不变，因此是non-saturating的。 2、多GPU同时训练——设计合理的模型，利用多GPU进行计算。 3、Local re…