神经网络训练中一种不易被发现的导致nan出现的方式 icicle314 2021-02-27 199 阅读1分钟 对《Unsupervised Person Re-identification via Softened Similarity Learning》一文进行复现时,发现无论如何调整学习率,loss都一直是nan。最后发现问题出现在下面的函数中: 其中ViV_iVi 是2048维的ResNet提出出的图片特征,vvv是均一化之后的特征,则ViTvV_i^TvViTv的数值将在10左右,除以τ=0.1\tau=0.1τ=0.1后,将使得exp(*)中的值大于100,从而使结果为inf,在之后的计算中引入nan。