持续创作，加速成长！这是我参与「掘金日新计划 · 6 月更文挑战」的第5天，点击查看活动详情
本文已参加【新人创作礼】活动，一起开启掘金创作之路
今天是暑假自学的第五天，昨天没有学习，也就没有更新文章。笔记本电脑电池鼓包了，今天上午去维修电脑，电脑店没有电池现货，需要等两三天。
由于家里台式电脑没有安装pycharm环境，那么这几天就准备看看视频学习一下深度学习。
具体学习的视频就是MOOC上复旦大学赵卫东老师的深度学习课程。
以后几天文章就是观看视频后的学习笔记。
神经网络
神经网络的分类：前馈神经网络，反馈神经网络，自组织神经网络
学习训练算法：监督型学习算法与非监督型学习算法
感知器：结构最简单的前馈神经网络，也称为主机。一个感知器接受n个输入，对应n个权值，拥有函数f=y（x*w+b）
x=（x1，x2，x3···） w=（w1,w2,w3···） 向量乘
b称为偏执值
前馈神经网络
前馈神经网络，使用BP算法，也称为BP神经网络。
分为三层：输入层，隐层，输出层
其中每一个圆圈（感知器）都含有一个偏执值
BP神经网络的训练：
1.初始化网络权值和神经元的阈值，一般通过随机的方式进行初始化
2.前向传播：计算隐藏神经元和输出层神经元的输出
3.后向传播：根据目标函数公式修正权值Wij
如果损失函数J较大的话，反向传播可以用来纠正误差。
*Jmin的求法：求导求极值求最值
使用最优化理论的梯度下降法更新网络权值
激活函数
神经网络的激活函数： Sigmoid，tanh，Relu函数等
1.Sigmoid函数：
f(x)=1/(1+e^(-x))
优点：导数非零，容易计算。
缺点：梯度下降非常明显，输出的值域不对称。
2.双曲正切函数：
缺点同Sigmoid函数
3.Relu函数
f(x)=max(0,z)
激活函数共同点：非线性，可微，单调（上升），f（x）约等于x，计算值简单，归一。
损失函数：
损失函数（代价函数），评价模型对样本拟合度。预测结果与实际值越接近表示拟合能力越强。当损失函数比较大时，对应的梯度下降比较快。
*惩罚性成本函数：防止过拟合
超参数：学习步长
================================================================
今天学习了一点深度学习的基础知识。明天就要学习一些算法
