李泽辉_isCoding

反向传播 运算过程 优化器Adam 优点 实现简单，计算高效，对内存需求少 超参数具有很好的解释性，且通常无需调整或仅需很少的微调 更新的步长能够被限制在大致的范围内（初始学习率） 能够表现出自动调整

深度学习 Demo 基于pytorch框架编写模型训练 实现一个自行构造的找规律(机器学习)任务 规律：x是一个5维向量，如果第1个数>第5个数，则为正样本，反之为负样本

损失函数 损失函数-均方差 MSE mean square error 对均方差在做开根号，可以得到根方差 损失函数-交叉熵 Cross Entropy常用于分类任务分类任务中，网络输出经常是所有类别

全连接层/线性层 全连接层又称线性层 计算公式：y = w * x + b w和b是参与训练的参数，w的维度决定了隐含层输出的维度，一般称为隐单元个数（hidden size） 隐含层1 的权重维度为

梯度下降法 梯度下降法就是找函数最小值的方法，比方说这个函数 原函数为 y = x^2 导函数为 y = 2 * x 在x = -1这个点，导数值为 -2 该点导数为负数，说明在这一点，如果x增大，y