一、引言 近期在实验性质的做自己的一个地图项目，由于很多关于OSM部署的文章过于远古，以及一些内容不是很详细，并且随着OSM的内容变更，一些文章的时效性也有了问题，期间遇到了无数的坑，因此写文记录下来

我们将以全连接层，激活函数采用 Sigmoid 函数，误差函数为 Softmax+MSE 损失函数的神经网络为例，推导其梯度传播方式。 要的时候计算出其导数。Sigmoid 函数导数的实现： 其中为真实值，为输出值。则它的偏导数 可以展开为： 我们把单个神经元模型推广到单层全连…

　最近在看深度学习的东西，一开始看的吴恩达的UFLDL教程，有中文版就直接看了，后来发现有些地方总是不是很明确，又去看英文版，然后又找了些资料看，才发现，中文版的译者在翻译的时候会对省略的公式推导过程进行补充，但是补充的又是错的，难怪觉得有问题。反向传播法其实是神经网络的基础了，...

反向传播算法最初在 1970 年代被提及，但是人们直到 David Rumelhart、Geoffrey Hinton 和 Ronald Williams 的著名的 1986 年的论文中才认识到这个算法的重要性。 反向传播的核心是一个对代价函数 关于任何权重 和 偏置 的偏导数…