2019.8新技术记录日志

IBM提出「新版Dropout」大幅减少训练迭代次数，提高泛化能力

• 新版的mutil-sample dropout与原dropout的区别：mutil-sample dropout相当于将dropout和全连接层等几层复制，损失函数的计算用平均值。新复制的全连接层等共享参数，所以并没有增加新的参数，但可以进一步减少神经元之间的相互依赖。
• 计算量的增加并不明显：大部分的计算主要发生在卷积层，mutil-sample dropout 增加的计算量并不多。实验证明：训练集跟测试集的准确率比较高。
• 具有加速训练的效果。
• 实验显示：dropout样本大于8个后，再增加样本并不能带来显著的收益。

论文链接

上下文强化的语义分割Context-Reinforced Semantic Segmentation

• 后处理有向量随机场，循环结构将迭代地当作后输入。
• 改论文主要讨论自适应利用分割预测图
• 马尔可夫决策过程：学习一个独立的模块（强化学习）来负责显式地从分割预测图中提取出有效子集作为上下文信息。使用了A3C（asynchronous advantage actor-critic）算法来端到端地优化上述过程。
• 此篇论文的github