拿 Densely Semantically Aligned Person Re-Identification 这篇文章举例。 本文写作非常好，写的很有逻辑，很标准。科研论文虽然是八股文，但是能经历了

这个负样本x'还需要跟x0够靠近，靠近到人没法发现。 约束如下，有两种方法。 他们的L2是一样的，但是就人的感知而言，上面那个看起来跟原图一样，下面那个跟原图不一样。 如果是看L_infinity，那么上面两张图片的L_infinity是比较小的，下面两张图片的L_infini…

选择适当的cluster，有比较empirical的方法。 找center，要K个clusters就需要K个center。可以随即找K个vector作为K个center。 1）对training data每一个的x，判断他们属于1到K的哪个cluster，假设跟第i个clust…

Convolution Blocks[1]，文章将普通的方形核卷积分解成了竖条纹卷积核横条纹卷积，与方形核卷积相结合，能够做到不带来任何负担的提点，并且可以嵌入到任何一个现成的CNN框架中。 许多对于CNN的改进多半集中在下面几点：1）改变CNN层之间的连接方式，如直接简单堆叠…

1）对于大网络(large size network)而言，绝大多数局部极小值在test上的表现是差不多的，且这些local minima跟global minima的表现也是差不多的。 2）小网络找到差的局部极小值(鞍点或比较大的局部极小值)的概率比较大，且这个概率随着网络模…

bias对平滑结果帮助不大，一般只对weight进行regularization。L2正则化出来的weights结果比较偏平均。 dropout只在training使用，testing不用。 如果直接test，结果会是原来的两倍。所以乘0.5 CNN原本是梯度下降，找到一组权重…

流形学习就是将高维的（流形的）feature的摊平，摊平之后就可以用欧氏距离了。 如右图，图片data中有些点形成了一些圈圈，意味着有些object虽然很像，但是旋转之后（换个角度）看完全不一样了。 计算所有pairs的相似度。

一篇有意思的文章，CVPR 2020的Strip Pooling: Rethinking Spatial Pooling for Scene Parsing[1]，文章从空间池化的基础上提出了（分解出了）条纹卷积，并基于此构筑了场景解析（语义分割）的网络，达到了新的SOTA。文…

深度学习取得了很大的成功，但是对其成功原因的数学解释却还是一个难点。很大一个原因是对深度网络的参数学习是一个非凸的过程。而优化算法有陷入非global minima的可能。凸优化问题的局部极小值也是全局极小值，因此学习问题的凸公式通常更可取，因为它们有助于分析学习算法的性质。 …