Dingyuan

这玩意也太复杂了。。。 定义 给定随机变量序列序列$X_i$，构造一个新的随机变量序列$Z_n$，满足$Z_n$是$X_1,...X_n$的函数，且$Z_n$有界，并且$E...

估计 点估计 频率替换与矩估计 这个很简单，就是用$\sum_i x_i^k$来估计k阶矩，然后期望和方差可以用矩来表示。从而计算。 问题是没有利用分布信息。 MLE 利用...

充分统计量 定义：对于一个分布族${P_\theta: \theta \in |\Theta}$，样本$x_1,...,x_n$。如果统计量$t$可以让分布$F(x_1,....

Tips for Deep Learning 1 训练好网络后，先检验train set上的performance，再检验test set上的performance。 2 ...

反向传播 高效求解深度神经网络中的梯度下降 notations 假设模型的输出层是一个向量$(a^l_1,a^l_2,...a^l_n)$，$l$表示层数，a表示经过激活函...

分类 为什么不能直接用线性回归？-多分类不适用，penalize samples that are too correct 目标是接近1，但可能远大于1，影响了最优分类面的...

线性回归 Model 对一条数据$x\in R^d$，然后相应的weight $w\in R^d$, bias是标量。预测值$y=x^T w+b$，一般为了方便，把x第一个...

矩阵求导 main idea 函数的输出如果不是标量，那么求导就是对他的每一个输出分别求，于是问题退化成了输出是标量...

## 满秩分解 详见00basic ## 满秩矩阵的QR分解 ### 理论 首先待分解矩阵$A$是一个满秩矩阵，所以他的列向量组$[\alpha_1, ..., \alph...

## motivation 不是方阵、不满秩，还不能求逆了？ ## definition A和G是复数域矩阵（不一定方，但G的形状和A转置一样），如果满足下面4条件，则$G...

矩阵函数 范数 定义与例子 考虑$V$在数域$F$上的向量空间，定义$V$上的函数$v$，满足： $\forall \theta \ne \alpha, v(\alpha)...

Hermit 二次型 Hermit矩阵 对于复数变量$X$ $f(X)=X^HAX=\sum a_{ij}\bar{x_i} x_j$ 可以证明$f\in R \Leftr...

相似标准型 特征值与特征向量 $A\eta = \lambda \eta$，$(\lambda I - A)\eta=\theta$ 有非0解。因此$|\lambda I ...

内积空间 把内积推广到一般线性空间 定义 在一般的线性空间的基础上，再增加如下4条 $\forall \theta \ne \alpha \in V, \langle\al...

线性空间 定义 两个空间V和F 两个运算分别on两个空间：加法（V）和数乘（F） 8个性质：加法交换律、加法结合律、加法有0元、加法有相反数、数乘有1元、数乘结合律、空间1...

基础理论 一、矩阵乘法 1 存在非0的0因子 $A \ne \mathbb{0}, B \ne \mathbb{0}$ but $AB=0$ 主对角线上方的此对角线全是1，...

VC维这块我参考了一个博客，写得很好，一下子就理解了，这里放上出处，自己只是简要即几个要点放在这里备查。https://zhuanlan.zhihu.com/p/59113...

这玩意也太复杂了。。。 定义 给定随机变量序列序列$X_i$，构造一个新的随机变量序列$Z_n$，满足$Z_n$是$X_1,...X_n$的函数，且$Z_n$有界，并且$E...

preliminaries 指数分布 定义 $F(x) = 1 - e^{-\theta x}$ or $f(x)=\theta e^{-\theta x}$ 如何理解：考...

蒙特卡洛 基本思想 构造一个采样方式，使得对某个统计量的估计恰好是要求的结果。 $(\epsilon, \delta)$近似：对V的估计满足$\Pr[|X-V|\le \e...