持续创作，加速成长！这是我参与「掘金日新计划 · 10 月更文挑战」的第24天，点击查看活动详情 

前言

🚀 个人主页：清风莫追的主页_CSDN 🔥 本文属于个人笔记，比较乱 🔥 希望能和大家一起加油，一起进步！

3. 神经网络的学习

摘抄：

1. Python 中如果定义的是简单的函数，可以使用 lambda 表示法。使用 lambda 的情况下，上述代码可以如下实现。 $f = lambda w: net.loss(x, t)$ $dW = numericalgradient(f, net.W)$

2. 因为这里使用的数据是随机选择的 mini batch 数据，所以又称为随机梯度下降法（stochastic gradient descent）

收获：

1. python是弱类型的，2-0.0001会是个小数而不会自动给你取整而numpy.array是有类型的，你传入的是整数，那么它的类型就是整型，你传入的是小数，它的类型就是浮点型你像整型数组里传入小数，会进行强制转换

2. 某点处的函数值下降最快的方向，取反方向就是函数值上升最快的方向吗？答案应当是肯定的，想二维函数虽然变化方向有很多会不好考虑，但却可以分为两个一维函数来思考，因为两个自变量的变化本来就是相对独立的。

3. 学习率就像每次每个自变量移动的距离

4. python中虽然没有函数重载，但代码中可以有重名函数。第一种情况是新定义的代替旧的；第二种情况是类中的和全局的，可类比全局变量和局部变量。

porblem:

1. 鞍点：从某个方向上看是极大值，从另一个方向上看则是极小值的点
2. 高斯分布
3. 神经网络的梯度那一节，权值W的形状是不是有问题？
4. 为什么随着训练次数的增多，损失的上下波动会变大？ 

单词：

1. dimension 方面
2. descent 下降

参考：

深度学习入门：基于Python的理论与实现 (斋藤康毅)

感谢阅读