千里路

从CRSP cloud上直接下载的数据，大部分都是SAS的特定格式sas7bdat，如果不用SAS进行分析，需要重新转换为csv格式。 以S&P 500的成分股数据为例，我们从CRSP cloud上下

1 定义 依分布收敛的定义是这样的：随机变量序列${X_n}{n=1}^{\infty}$，若它们的累积分布函数cdf序列${F_1}{n=1}^{\infty}$，与某个随机变量$X$的cdf $F

Jensen不等式的形式有很多种，这里重点关注有关于随机变量期望的形式。 1 Jensen不等式 Jensen不等式：已知函数$\phi: \mathbb{R}\to\mathbb{R}$为凸函数，则

本文介绍LAR（Least angle regression，最小角回归），由Efron等（2004）提出。这是一种非常有效的求解LASSO的算法，可以得到LASSO的解的路径。 1 算法介绍 我们直

1 一元回归与多元回归 任何一本初级水平的计量经济学、统计学或机器学习相关书籍，都会详细推导多元线性线性回归的解，在这里就不再赘述。 我们给出本文用到的一些设定。$y$为$N$维因变量向量，假设$y=

1 Curse of dimensionality 我们知道，$k$-NN算法是一种非常简单又很有效果的算法，它的核心思想就是局部近似。究其原因，就是因为它可以很好地对条件期望进行近似，一方面它用样本

LASSO非常实用，但由于它的惩罚项不可以常规地进行求导，使得很多人以为它无法显式地求出解析解。但其实并不是这样的。 1 单变量情形：软阈值法 1.1 软阈值的分类讨论 将$N$个样本的真实值记为$N

1 Hoeffding不等式 Hoeffding不等式是非常有用的一个不等式，在机器学习、统计学等领域，都发挥着巨大的作用。 它的思想与Markov不等式有些类似，我们先给出它的形式： Hoeffdi

1 CEF error的有限性问题 在回归中，记条件期望函数（conditional expectation function，CEF）为$E[Y|X=x]$，则可将因变量$Y$分解为 $$ Y=E[

1 为何需要标准化 有的数据，不同维度的数量级差别较大，导致有的维度会主导整个分析过程。如下图所示： 该图的数据维度$d=30$，样本量$n=40$，上面的图是对原始数据做PCA后，第一个PC在各个维

高维数据的可视化是一个很大的问题，Inselberg（1985）提出了一种好办法，称为平行坐标图（parallel coordinate plots）。它有竖直的（vertical）和水平的（hori

在做回归时，很多时候会有$\text{E}(x_t \varepsilon_t)\neq 0$的情况，这也意味着不满足外生性条件$\text{E}(\varepsilon|X)=0$，此时的OLS估计

在有些时候，直接计算随机变量的方差非常麻烦，此时可以用方差分解公式，将方差分解为条件期望的方差加条件方差的期望： $$ \text{Var}(X)=\text{Var}[\text{E}(X|Y)]+

在应用中，经常会碰到需要对某个矩阵的行列式进行求导的情况。而行列式的计算方法比较复杂，如果将它展开成后计算，会比较麻烦，因此最好直接记住一些结论。本文以计算$\dfrac{\partial |A|}{

1 几乎必然收敛的概念几乎必然收敛（almost sure convergence），又叫以概率1收敛（convergence with probability 1），定义为：随机变量序列${X_n}

本文总结多元正态分布的条件分布与边缘分布，证明不难，但都比较繁琐，故不做详细证明，有兴趣可以参考Pattern Recognition and Machine Learningy一书。1 正态分布的条

在本科阶段的教材中，往往会有多元正态分布的公式出现，但课堂上都不会重点讲解，而在研究生入学考试中也基本不会考。但在实际应用中，多元的情况却非常常见。本文通过对多元正态分布的公式进行拆解，来正式认识一下

在求独立的随机变量之和的分布时，可用矩母函数法。1 矩母函数法定理 已知$X_1,\ldots,X_n$为独立的随机变量，各种的矩母函数为$M_1,\ldots,M_n$，$a_1,\ldots,a_

本文介绍几个常用的与期望有关的不等式。 Cauchy–Schwarz不等式有许多形式，这里只介绍它的期望函数的形式。 然后两边取平方，再求期望。注意到取平方后交叉项的期望 得证。 事实上，Cauchy–Schwarz不等式是Hölder不等式的特例。 当且仅当$a^p=b^q$…

中学阶段的概率的概念，无法满足后续学习的要求，因此必须从测度论角度重新定义概率。本文整理了一些相关概念。 定义 概率空间（probability space）：三元参数组$(\Omega, \mathcal{F}, \mathbf{P})$定义了一个概率空间。 其中$\Omeg…