DIve Into Deep Learning

一个好的模型需要要输入数据的扰动鲁棒。丢弃法就是在层之间加入噪音 无偏差的噪音加入 $$ E(x_i) = p * 0 + (1-p) * \frac{x_i}{1-p} $$ 丢弃法 总结 实现 简

权重衰退 模型在训练的过程中可能过拟合，这一般是由于数据太简单，模型太复杂导致的。模型太复杂直接把每个样本都记住了，泛化能力不行。 L2 Penalty

训练误差和泛化误差 验证数据集和测试数据集 K则交叉验证la la la la la la la la la la la la

感知机 感知机的收敛定理 总结 感知机是一个二分类模型 感知机的求解算法等价于批量为1的梯度下降 感知机只能产生线性分割面，无法拟合XOR函数 多层感知机 单隐藏层 激活函数 多分类任务 多隐藏层 总

Softmax函数 softmax回归这个名字虽然有回归二字，其实是用于分类问题的。softmax函数能够将未规范化的预测变换为非负数并且总和为1，同时让模型保持可导的性质。 我们首先对每个未规范化的

点积 点积要求两个向量必须具有相同的尺寸，我们也可以通过按元素乘法来得到点积 与标量相乘 Tensor与标量k相乘，其实相当于Tensor与Tensor同尺寸且元素全为k的矩阵做点积累 矩阵-向量积

前向传播:Forward Propagation 前向传播顾名思义，就是从输入层到输出层计算和存储神经网络中每层的结果。 计算复杂度:O(n) 内存复杂度:O(n) 后向传播:Backward Pro

什么是决策树 决策树顾名思义，就是用决策树来做决定，属于监督学习，可以用来解决分类，回归问题 决策树学习的步骤 特征选择 特征选择决定了使用哪些特征来做判断。在训练数据集中，每个样本的属性可能有很多个

什么是特征工程 特征工程将我们的数据转化为成我们模型能够理解的形式 特征工程是将原始的数据转化为更好表达问题本质的特征的过程 数据和特征决定了机器学习的上限，而模型和算法只是逼近这个上限而已 深度学习

Min-Max Normalization 对原始数据的线性变换，使得结果值映射到[a,b]之间 $$ x_i^{\prime} = \frac{x_i - x_{min}}{x_{max} - x_

数据获取 去那里找数据集 Paper With Codes Kaggle Google Dataset Search 竞赛数据集，会议数据集 Open Data on AWS 数据集比较 生成数据 使