赵喧典

本文在 ASReader 上做了微创新, 对 query 中每个单词对应的 attention 做一个 merging, 得到最终的 document 中各单词作为 answer 的概率.

本文在 DiSAN 上做了微创新, 使用 distance mask, 对相对位置进行了建模, 相距越远的单词, mask matrix 中对应位置将是一个越大的负值, 从而一定程度上抑制了远距离单词间的依赖, 换言之, 强调了单词对邻近单词的依赖, 从而更好地分配 attent

本文创新性地提出了 2 种 attention mechanism: multi-dimensional attention 和 directional attention. 前者用矩阵代替向量来表示 attention weights, 将加权求和细化到状态向量的每一维; 后者

本文提出了大名鼎鼎的残差网络 ResNet, 意在解决深度神经网络的退化问题. 将要学习的变换 H(x) 变形为 F(x)+x 的形式, 使得残差单元具有模拟恒等映射的能力, 从而缓解了深度带来的退化问题.

文就序列建模, 对 CNN 和 RNN 进行了比较. 按照文章的说法, 在 RNN 的主场打了一架, 结果 CNN 完胜. 使用的模型包括, 针对序列建模特殊构造的 CNN, 称为 Temporal Convolutional Network, TCN 和普通 RNN, GRU,

EfficientEstimationofWordRepresentationsinVectorSpace本文是word2vec的第一篇,提出了大名鼎鼎的CBOW和Skip-gram两大模型.CBOW

GAN的3个变种：AAE、ALI、BiGAN的论文笔记。

LAPGAN, DCGAN, 以及 Improved Techniques for Training GANs 论文笔记.

本期论文笔记涉及 GAN 的开山之作与一篇综述, 内容比较多, 暂时就放 3 篇笔记, 还有一篇关于 Conditional GAN