小菜鸡本鸡

GAN训练中存在的问题 判别器训练得太好，生成器梯度消失，生成器loss降不下去；判别器训练得不好，生成器梯度不准，四处乱跑。只有判别器训练得不好不坏才行，但是这个火候又很...

一个好的模型需要要输入数据的扰动鲁棒。丢弃法就是在层之间加入噪音 无偏差的噪音加入 $$ E(x_i) = p * 0 + (1-p) * \frac{x_i}{1-p} ...

权重衰退 模型在训练的过程中可能过拟合，这一般是由于数据太简单，模型太复杂导致的。模型太复杂直接把每个样本都记住了，泛化能力不行。 L2 Penalty...

训练误差和泛化误差 验证数据集和测试数据集 K则交叉验证la la la la la la la la la la la la...

感知机 感知机的收敛定理 总结 感知机是一个二分类模型 感知机的求解算法等价于批量为1的梯度下降 感知机只能产生线性分割面，无法拟合XOR函数 多层感知机 单隐藏层 激活函...

Softmax函数 softmax回归这个名字虽然有回归二字，其实是用于分类问题的。softmax函数能够将未规范化的预测变换为非负数并且总和为1，同时让模型保持可导的性质...

点积 点积要求两个向量必须具有相同的尺寸，我们也可以通过按元素乘法来得到点积 与标量相乘 Tensor与标量k相乘，其实相当于Tensor与Tensor同尺寸且元素全为k的...

前向传播:Forward Propagation 前向传播顾名思义，就是从输入层到输出层计算和存储神经网络中每层的结果。 计算复杂度:O(n) 内存复杂度:O(n) 后向传...

什么是决策树 决策树顾名思义，就是用决策树来做决定，属于监督学习，可以用来解决分类，回归问题 决策树学习的步骤 特征选择 特征选择决定了使用哪些特征来做判断。在训练数据集中...

什么是特征工程 特征工程将我们的数据转化为成我们模型能够理解的形式 特征工程是将原始的数据转化为更好表达问题本质的特征的过程 数据和特征决定了机器学习的上限，而模型和算法只...

Min-Max Normalization 对原始数据的线性变换，使得结果值映射到[a,b]之间 $$ x_i^{\prime} = \frac{x_i - x_{min}...

数据获取 去那里找数据集 Paper With Codes Kaggle Google Dataset Search 竞赛数据集，会议数据集 Open Data on AW...

在Pytorch中使用可视化神器TensorBoard，极速上手，有手就行，看了就会，速成教学，十分人性。...

KL散度和JL散度 在机器学习中，常常用KL散度（Kullback-Leibler Divergence）和JL散度(Jensen-Shannon Divergence)来...