条件期望误差的有限性

1 CEF error的有限性问题

在回归中，记条件期望函数（conditional expectation function，CEF）为$E[Y|X=x]$，则可将因变量$Y$分解为

可记$e=Y-E[Y|X=x]$为条件期望函数误差（CEF error）。

显然，$e$满足$E[e|X]=0$，$E[e]=0$，这些都很容易证明。下面来看一个关于$e$的有限性的问题：

若对于$r\gt 1$有$E[|Y|^r]\lt \infty$，求证$E[|e|^r]\lt \infty$。

从直觉上说，$e$是用条件期望函数对$Y$做了解释后留下的残差，那么$Y$的有限性应该可以保证$e$的有限性。但要证明它，却比较复杂。

2 证明

首先我们利用Minkowski不等式，有

由已知条件，第一项$\left(E\left[|Y|^r\right]\right)^{1/r}$是有限的。

对于第二项，由于$g(\cdot)=|\cdot|^r$在$r\geq 1$时为凸函数，由Jensen不等式$g(E[Y|X]) \leq E[g(Y)|X]$，即有

再对两边取期望后取$1/r$次幂，可得

由已知条件可知，这一项也是有限的。

3 扩展

若我们关注$r=2$，就变成了CEF error的无条件方差$\sigma=E[e^2]=\text{Var}[e]$。结论重新表述如下：

若$E[Y^2]\lt \infty$，则$\sigma^2\lt \infty$。

事实上，若对于多个解释变量，则不断加入解释变量后，残差的方差必将减小，即若$E[Y^2]\lt \infty$，必有

为什么？

证明：先利用$E[Y|X_1]=E[E[Y|X_1,X_2]|X_1]$和Jensen不等式，我们可以得到

两边取期望后有

同理，利用$E[Y]=E[E[Y|X_1]]$和Jensen不等式，可得到$(E[Y])^2\leq E\left[\left(E[Y|X_1]\right)^2\right]$，与上面的式子放在一起有

三个地方都同时减去$(E[Y])^2$，可得

另一方面，我们已有$e=Y-E[Y|X]$，再记$u=E[Y|X]-E[Y]$，则$E[eu]=0$，因此

而$\text{Var}[Y]$为常数，因此，$\text{Var}[E[Y|X]]$越大，$\text{Var}[Y-E[Y|X]]$越小，即