Jensen不等式及其应用

Jensen不等式的形式有很多种，这里重点关注有关于随机变量期望的形式。

1 Jensen不等式

Jensen不等式：已知函数$\phi: \mathbb{R}\to\mathbb{R}$为凸函数，则有$\phi[\text{E}(X)]\leq \text{E}[\phi(X)]$。

有时候，需要用到离散形式的Jensen不等式：$\{a_j\}$是一系列非负权重，满足$\sum_{j=1}^m a_j=1$，$\{x_j\}$是一系列任意实数，对于凸函数$\phi: \mathbb{R}\to\mathbb{R}$，有

只需将原期望形式的Jensen不等式中的随机变量取成离散的，并令$P(X=x_j)=a_j$，即可得到上式。

2 条件Jensen不等式

将不等式两边的期望都取为条件期望的形式，不等式依然成立。

条件Jensen不等式：已知函数$\phi: \mathbb{R}\to\mathbb{R}$为凸函数，则有$\phi[\text{E}(X|Y)]\leq \text{E}[\phi(X)|Y]$。

来看一个应用：在$\text{Var}(X)<\infty$的条件下，利用条件Jensen不等式，可以证明$\text{Var}[\text{E}(X|Y)]\leq \text{Var}(X)$。

证明如下：

两边取期望后，可得

得证。

3 Jensen不等式的应用

许许多多不等式，都可以利用Jensen不等式得出，这里整理一些例子。

3.1 套用简单函数

将$\phi$直接取为简单的凸函数或凹函数，就可以得到许多不等式：

• $[\text{E}(X)]^2 \geq \text{E}(X^2)$
• $|\text{E}(X)|\leq \text{E}|X|$；
• $\exp[\text{E}(X)]\leq \text{E}[\exp(X)]$；
• $\text{E}[\log(X)]\leq \log[\text{E}(X)]$；
• $\text{E}[X^{1/2}]\leq [\text{E}(X)]^{1/2}$。

3.2 Lyapunov不等式

Lyapunov不等式：对于任意$0\leq p \leq q$，有

证明过程，只需利用凸函数$\phi(x)=x^{q/p}$，和随机变量$Y=|X|^q$即可。

3.3 几何均值不等式

几何均值不等式（Geometric Mean Inequality）：$\{a_j|$是一系列非负权重，满足$\sum_{j=1}^m a_j=1$，$\{x_j\}$是一系列任意的非负实数，则有

证明要用到离散形式的Jensen不等式，将$\phi$取为对数函数即可，由于对数函数是凹函数，不等式需反向。

如果取$m=2$，$a_1=a_2=\dfrac{1}{2}$，就是在中学阶段熟悉的$\sqrt{x_1 x_2}\leq \dfrac{x_1+x_2}{2}$，即几何均值小于等于代数均值。

3.4 Loeve’s $C_r$ Inequality

对于一系列的任意实数$x_j$，有

当$m=2$时，记$C_r=\max\{1,2^{r-1}\}$，该不等式可写为

因此也叫$C_r$不等式。

证明同样需用到离散形式Jensen不等式。若$r\gt 1$，取$a_j=1/m$，$\phi(x)=|x|^r$，即可得证。若$r\leq 1$，记$\sum_{j=1}^m |x_j|=A$，取$b_j=|x_j|/A$，则$b_j\in [0,1]$，因此有$b_j\leq b_j^r$，因此

再利用$|\sum_{j=1}^m x_j |\leq \sum_{j=1}^m |x_j|=A$，即可得证。

3.5 范数不等式

范数不等式：对于$0\lt p\leq q$，有

取$r=p/q\leq 1$，$y_j=|x_j|^q$，利用上一节中的$C_r$不等式，可得

将$x_j$代回并两边取$1/p$次方即可得证。