Dingyuan

分类 为什么不能直接用线性回归？-多分类不适用，penalize samples that are too correct 目标是接近1，但可能远大于1，影响了最优分类面的确定 概率生成式模型 分类问

反向传播 高效求解深度神经网络中的梯度下降 notations 假设模型的输出层是一个向量$(a^l_1,a^l_2,...a^l_n)$，$l$表示层数，a表示经过激活函数$\sigma$后了，经过

Tips for Deep Learning 1 训练好网络后，先检验train set上的performance，再检验test set上的performance。 2 不要总是归因于overfit

充分统计量 定义：对于一个分布族${P_\theta: \theta \in |\Theta}$，样本$x_1,...,x_n$。如果统计量$t$可以让分布$F(x_1,...,x_n|t)$与$\t

估计 点估计 频率替换与矩估计 这个很简单，就是用$\sum_i x_i^k$来估计k阶矩，然后期望和方差可以用矩来表示。从而计算。 问题是没有利用分布信息。 MLE 利用似然函数（联合概率关于参数的

矩阵求导 main idea 函数的输出如果不是标量，那么求导就是对他的每一个输出分别求，于是问题退化成了输出是标量

Hermit 二次型 Hermit矩阵 对于复数变量$X$ $f(X)=X^HAX=\sum a_{ij}\bar{x_i} x_j$ 可以证明$f\in R \Leftrightarrow A^H=

矩阵函数 范数 定义与例子 考虑$V$在数域$F$上的向量空间，定义$V$上的函数$v$，满足： $\forall \theta \ne \alpha, v(\alpha) > 0$ $\forall

## motivation 不是方阵、不满秩，还不能求逆了？ ## definition A和G是复数域矩阵（不一定方，但G的形状和A转置一样），如果满足下面4条件，则$G$是$A$的广义逆矩阵。