Dingyuan

充分统计量 定义：对于一个分布族${P_\theta: \theta \in |\Theta}$，样本$x_1,...,x_n$。如果统计量$t$可以让分布$F(x_1,...,x_n|t)$与$\t

Tips for Deep Learning 1 训练好网络后，先检验train set上的performance，再检验test set上的performance。 2 不要总是归因于overfit

反向传播 高效求解深度神经网络中的梯度下降 notations 假设模型的输出层是一个向量$(a^l_1,a^l_2,...a^l_n)$，$l$表示层数，a表示经过激活函数$\sigma$后了，经过

分类 为什么不能直接用线性回归？-多分类不适用，penalize samples that are too correct 目标是接近1，但可能远大于1，影响了最优分类面的确定 概率生成式模型 分类问

线性回归 Model 对一条数据$x\in R^d$，然后相应的weight $w\in R^d$, bias是标量。预测值$y=x^T w+b$，一般为了方便，把x第一个位置增加一个1，然后b个w组

矩阵求导 main idea 函数的输出如果不是标量，那么求导就是对他的每一个输出分别求，于是问题退化成了输出是标量

## 满秩分解 详见00basic ## 满秩矩阵的QR分解 ### 理论 首先待分解矩阵$A$是一个满秩矩阵，所以他的列向量组$[\alpha_1, ..., \alpha_n]$是线性无关的

## motivation 不是方阵、不满秩，还不能求逆了？ ## definition A和G是复数域矩阵（不一定方，但G的形状和A转置一样），如果满足下面4条件，则$G$是$A$的广义逆矩阵。

矩阵函数 范数 定义与例子 考虑$V$在数域$F$上的向量空间，定义$V$上的函数$v$，满足： $\forall \theta \ne \alpha, v(\alpha) > 0$ $\forall