1.logistic回归思想即如下===sigmoid单元

很多sigmoid单元堆叠起来构成一个神经网络

eg:只有一个隐藏层的神经网络

输入层是第0层。

对于双层的解析：

针对第一层的前两个节点： 总结起来即如下所示：

2.选择激活函数时，一般的：

输出值为0和1==== 二元分类====σ 函数很适合作为输出层的激活函数，其它所有单元都用ReLU（如果不确定用哪个，就用ReLU）

σ 函数/tanh函数/ReLU函数（ReLU 斜率不为0，速度会相对很快）/带泄露的ReLU函数===Leaky ReLU

σ 函数，除非用在二元分类的输出层，不然绝对不要用

3.随机初始化

权重非常重要

4.更新参数

我们需要选择一个良好的学习速率，如下二图(由Adam Harley提供)：

iteration从1到50：

上面两个图分别代表了具有良好学习速率（收敛）和不良学习速率（发散）的梯度下降算法。