markdownA证明: 我们首先证明不等式适用于基数为A = {a0，a1}的集合上的分布 2.设p0= p(a0)，

证明: 我们首先证明不等式适用于基数为2的集合 $A = \{a_0，a_1\}$ 上的分布,设 $p_0= p(a_0)，q_0= q(a_0)$ 。固定 $P_0 \in [0，1]$ 并考虑函数 $f : q_0 \rightarrow f(q_0)$ 定义为

f(q_0)=p_0\log\frac{p_0}{q_0}+(1-p_0)\log\frac{1-p_0}{1-q_0}-2(p_0-q_0)^2 \tag{E.12}

观察 $f(p_0)=0和q_0\in(0,1),$

f'(q_0)=-\frac{p_0}{q_0}+\frac{1-p_0}{1-q_0}+4(p_0-q_0)=(q_0-p_0)=(q_0-p_0)[\frac{1}{(1-q_0)q_0}-4] \qquad \tag{E.13}

由于 $(1 − q_0)q_0 \leq \frac{1}{4},[\frac{1}{1-q_0 q_0}-4]$ 是非负的。因此，对于 $q_0 ≤ p0，f_0(q_0) ≤ 0$ ，对于 $q_0 ≥ p_0，f_0(q_0) ≥ 0$ 。因此， $f$ 在 $q_0= p_0$ 处达到最小值，这意味着对于所有 $q_0，f(q_0) ≥ f(p_0) = 0$ 。由于 $f(q_0)$ 可以表示如下:

f(q_0)=D(p||q)-2(p_0-q_0)^2 \tag{E.14}

=D(p||q)-\frac{1}{2}[\left.\right|p_0-q_0+\left|\right.(1-p_0)-(1-q_0)\left.\right|]^2 \tag{E.15}

=D(p||q)-\frac{1}{2}||p-q||_1^2\geq0 \tag{E.16}

这证明了基数为 2 的集合 $A = {a_0, a_1}A = {a_0, a_1}$ 的不等式。现在，考虑在 $A = {a_0, a_1}$ 上定义的分布 $p'$ 和 $q'$ ，其中 $p_0^{'}(a_0) =P,x \in a_0p(x),q_0(a_0) =P,x \in a_0,q(x)$ ,其中 $a_0= \{x \in X: p(x) ≥ q(x)\}$ 并且 $a_1= \{x \in X: p(x) < q(x)\}$ 。根据对数和不等式（推论 E.4），

D(p||q)=\sum p(x)\log\left[\frac{p(x)}{q(x)}\right]+\sum p(x)\log\left[\frac{p(x)}{q(x)}\right] \tag{E.17}

\geq p(a_0)\log\left[\frac{p(a_0)}{q(a_0)}\right]+p(a_1)\log\left[\frac{p(a_1)}{q(a_1)}\right] \tag{E.18}

=D(p{'}||q{'}) \tag{E.19}

将此不等式与观察结果相结合

||p{'}-q{'}||_1=\left(p(a_0)-q(a_0)\right)-\left(p(a_1)-q(a_1)\right) x \in a_0 \tag{E.20}

=\sum \left(p(x)-q(x)\right) (x \in a_0)-\sum \left(p(x)-q(x)\right)(x \in a_1) \tag{E.21}

=\sum |p(x)-q(x)| (x\in X) \tag{E.22}

=||p-q||_1 \tag{E.23}

证明了 $D(p||q) \geq D(p{'}||q{'}) \geq \frac{1}{2}||p-q||_1^2$ 并得出了证明。 定义 E.8（条件相对熵） 设 $p 和 q$ 是在 $X × Y$ 上定义的两个概率分布和在 $X$ 上定义的 $r a$ 分布。那么， $p$ 和 $q$ 相对于边缘 $r$ 的条件相对熵被定义为 $p(·|X)$ 和 $q(·|X)$ 相对于 $r$ 的相对熵的期望：

\mathop{\bf{E}}\limits_{X\rightarrow r}[D(p(\cdot|X)||q(\cdot|X))]=\sum_{x \in \cal X}r(x)\sum_{y \infty \cal Y}p(y|x)\log{\frac{p(y|x)}{q(y|x)}}=D(\tilde{p}||\tilde{q}), \tag{E.24}

E.3相互信息 图E.2
基于凸可微函数F定义的布雷格曼散度测量的量的图示。散度测量 $F(x)$ 和在点 $y$ 与曲线相切的超平面之间的距离
其中 $p(x,y)=r(x)p(y|x)和q(x,y)=r(x)q(y|x),$ 按照惯例 $0log0=0,0\log{\frac{0}{0}}=0,和a\log{\frac{a}{0}}=+\infty,a\geq0,$ E.3 相互信息 定义E.9(相互信息)
设X和Y是两个随机变量，具有联合概率分布函数 $p(，)$ 和边际概率分布函数 $p(x)$ 和 $p(y)$ 。然后， $X$ 和 $Y$ 的互信息用 $I(X，Y)$ 表示，定义如下:

I(X,Y)=D(p(x,y)||p(x)p(y)) \tag{E.25}

=\mathop{\Epsilon}\limits_{p(x,y)}[\log\frac{p(X,Y)}{p(X)p(Y)}]=\sum_{x \in \cal X,y \in \cal Y}p(x,y)\log[\frac{p(x,y)}{p(x)p(y)}], \tag{E.26}

按照惯例 $0log0=0,0log{\frac{0}{0}}=0,和alog{\frac{a}{0}}=+\infty,a\geq0,$ 当随机变量 $X$ 和 $Y$ 是独立的时，它们的联合分布是边际 $p(x)$ 和 $p(y)$ 的乘积。因此，当 $X$ 和 $Y$ 独立时，互信息是联合分布 $p(x，Y)$ 与其值的接近度的度量，其中接近度通过相对熵散度来度量。因此，它可以被视为每个随机变量可以提供的关于另一个的信息量的度量。注意，通过命题E.3，等式 $I(X，Y ) = 0$ 对于所有 $X，Y$ 都成立 $iff p(x，y) = p(x)p(y)$ ，即 $iff X$ 和 $Y$ 是独立的。 E.4 Bregman分歧
在这里，我们引入了为 $\cal R^{\cal X}$ 中所有非负函数 $p，q ,\tilde{D}$ 定义的所谓非正规相对熵

\tilde{D}(p||q)=\sum_{x \in \cal X}p(x)\log[\frac{p(x)}{q(x)}]+(q(x)-p(x)), \tag{E.27}

表E.1
布雷格曼发散和相应凸函数的例子。
使用约定 $0 \log 0 = 0, 0 \log00= 0$ , 和 $a\log{\frac{a}{0}}= +\infty, a > 0$ . 相对熵当限制为 $∆×∆$ 时，与未归一化的相对熵一致，其中 $∆$ 是在 $X$ 上定义的分布。相对熵继承了未归一化的几个属性相对熵，特别是，可以证明 $\tilde{D}(p||q)\geq 0$ 。许多这些性质都在一个更广泛的分歧家族共享的事实，称为布雷格曼分歧。 定义E.10(布雷格曼分歧)
设 $F$ 是定义在希尔伯特空间h中的凸(开)集C上的凸可微函数。然后，由下式为所有 $x，y \in C$ 定义与 $F$ 相关的Bregman散度 $B_F$

B_F(x||y)=F(x)-F(y)-\langle\bigtriangledown F(y) ,x-y\rangle. \tag{E.28}

因此， $B_F(x||y)$ 测量 $F(x)$ 的差及其线性近似。图E.2说明了这个定义。表E.1提供了布雷格曼发散的几个例子以及它们相应的凸函数 $F(x)$ 。注意，虽然非正规相对熵是一个布雷格曼散度，但相对熵不是一个布雷格曼散度，因为它是定义在不是开集且内部为空的单形上的。以下命题给出了布雷格曼发散的几个一般性质。
命题E.11
设 $F$ 是定义在希尔伯特空间 $h$ 中凸集 $C$ 上的凸可微函数，那么，下列性质成立:

1.\forall x,y \in \zeta, B_F(z||y) \geq 0.

2. \forall x,y,z \in \zeta, \langle \bigtriangledown F(x)-\bigtriangledown F(y), x-z\rangle = B_F(x||y) +B_F(z||x) - b_f(Z||Y).

$B_F$ 的第一个参数是凸的。如果另外 $F$ 是严格凸的，则 $B_F$ 在其第一个参数中是严格凸的。
线性:假设G是C上的凸可微函数，那么，对于任何 $\alpha,\beta \in R, B_{\alpha F + \beta G} = \alpha B_F + \beta B_G.$ 对于下列性质，我们将另外假设 $F$ 是严格凸的。
Projection: for any $y \in \zeta$ 任何闭凸集 $\kappa \in \zeta$ , $y$ 在 $K$ 上的 $BF$ 投影 $P_\kappa(y)=argmin_{x \in \kappa} B_F(x||y),$ 独一无二。 6.勾股定理:对于 $y \in C$ 和任意闭凸集 $K \in C$ ，以下定理适用于所有 $x \in K:$

7.共轭发散:假设 $f$ 是闭真严格凸的，并且其梯度的范数在 $C: \lim_{x\rightarrow \delta \zeta}||\bigtriangledown F(x)|| = +\infty$ 的边界附近趋于无穷大。这对 $(\zeta，F)$ 于是被称为勒让德型凸函数。那么， $F，F∫$ 的共轭是可微的，并且以下适用于所有 $x，y \in \zeta:$

B_F(x||y) = B_F*(\bigtriangledown F(y)||\bigtriangledown F(x)). \tag{E.30}

E.4 Bregman分歧

图E.3
命题E.11中勾股定理的描述，其中每条线的平方长度说明了它所连接的点之间的布雷格曼散度的大小。证明:性质(1)通过函数 $F$ 的凸性成立( $F$ 的图在其切线之上，见方程(B.3))。性质(2)直接来自布雷格曼散度的定义:

\begin{aligned} B_f&(x||y)+B_F(z||y) -B_F(z||y)\\ &=-\langle \bigtriangledown F(y),x-y \rangle - \langle \bigtriangledown F(x), z-x \rangle + \langle \bigtriangledown F(y), z-y \rangle\\ &=\langle \bigtriangledown F(x)-\bigtriangledown F(y),x-z \rangle \end{aligned}

性质(3)成立，因为 $x \rightarrow F(x) - F(y) - \langle \bigtriangledown F(y) , x-y \rangle$ 是凸函数 $x 7→f(x)$ 和仿射的和的凸函数 $x \rightarrow F(x) - F(y) - \langle \bigtriangledown F(y) , x-y \rangle$ 。类似地，如果 $F$ 是严格凸的，作为严格凸函数和仿射函数的和， $B_F$ 关于它的第一个变元是严格凸的。性质(4)来自一系列等式:

B_{\alpha F + \beta G} = \alpha F(x) + \beta G(x) - \alpha F(y) - \beta G(T)- \langle \bigtriangledown (\alpha F(y) + \beta G(y) + \beta G(y)), x- y \rangle

=\alpha(F(x)-F(y)-\langle \bigtriangledown F(y), x-y \rangle)) + \beta(G(x)-G(y)- \langle \bigtriangledown G(y), x-y \rangle)

=\alpha B_F + \beta B_G,

我们利用了梯度和内积都是线性函数的事实。性质(5)成立，因为根据性质(3)， $minx \in KBF(xky)$ 是具有严格凸目标函数的凸优化问题。对于性质(6)，固定 $y \in C$ ，让 $J$ 为所有 $α \in [0，1]$ 定义的函数

J(\alpha)=B_F(\alpha x + (1-\alpha) P_\kappa (y)||y).

由于 $C$ 是凸的，对于任何 $α \in [0,1]$ ， $αx+ (1−α)PK(y)$ 在 C 中。 $(1-α)P_\kappa (y)$ 。根据 $P_\kappa (y)$ 的定义，对于任何 $α \in (0,1]$ ,

\frac{J(\alpha)-J(0)}{\alpha}=\frac{B_F(\alpha x +(1-\alpha)P_\kappa (y)||y)-B_F(P_\kappa (y)||y)}{\alpha}\geq . \qquad \tag{E.31}

这意味着 $J'(0) \geq 0.$ 根据 $J(α)$ 的以下表达式:

J(\alpha)=F(\alpha x+(1-\alpha)P_\kappa(y))-F(y)-\langle \bigtriangledown F(y), \alpha x + (1-\alpha)P_\kappa(y) - y, \rangle \qquad \tag{E.32}

我们可以在0:

\begin{aligned} J'(0)&=\langle x-P_\kappa (y), \bigtriangledown F(P\kappa (y)) \rangle - \langle \bigtriangledown F(y), x-P_\kappa (y) \rangle \\ &=-B_F(x||P_\kappa (y))+F(x)-F(P_\kappa(y))-\langle \bigtriangledown F(y), x-P_\kappa (y) \rangle\\ &=-B_F(x||P_\kappa (y))+F(x)-F(P_\kappa(y))-\langle \bigtriangledown F(y), x-y \rangle - \langle \bigtriangledown F(y), y-P_\kappa (y) \rangle\\ &=-B_F(x||P_\kappa(y)+B_F(x||y)+F(y)-F(P_\kappa (y))-F(P_\kappa (y))-\langle \bigtriangledown F(y), y-P_\kappa (y) \rangle)\\ &=-B_F(x||P_\kappa (y))+B_F(x||y)-B_F(P_\kappa (y)||y) \geq 0, \end{aligned}

从而得出性质 (6) 的证明。对于性质(7)，注意，根据定义，对于任何 $y，F *$ 由下式定义:

F^*(y)=\mathop{sup}\limits_{x \in \zeta}\{ \langle x,y \rangle -F(x)\}. \tag{E.33}

$F^*$ 是凸的，在任意 $y$ 上允许有一个次微分。通过 $F$ 的严格凸性，函数 $x \rightarrow \langle x, y \rangle − F(x)$ 在 $\zeta$ 和它的梯度范数上是严格凹的和可微的， $y-\langle \bigtriangledown F(x) \rangle$ ,在靠近 $\zeta$ 的边界处趋于无穷大(根据为 $F$ 假设的相应性质)。因此，它的上确界是在唯一的点 $x_y \in \zeta$ 处达到的，这里它的梯度为零，即在 $\bigtriangledown F(x_y)=y$ 处。这意味着对于任何 $y$ ， $\delta F^*(y)$ , $F^*$ 的次微分，减少为单例。因此， $F^*$ 是可微的，它在 $y$ 的梯度是 $\bigtriangledown F^*(y)=x_y=\bigtriangledown ^{-1} F(y)$ .由于 $F^*$ 是凸的和可微的，它的Bregman散度是很好定义的。此外，自 $x_y=\bigtriangledown ^{-1}F(y)$ 起的 $F^*(y)=\langle \bigtriangledown F^{-1}(y), y \rangle - F(\bigtriangledown F^{-1}(y))$ 对于任何 $x，y \in \zeta$ ，利用 $B_{F*}$ 的定义和 $\bigtriangledown F^*(y)$ 和 $F^*(y)$ 的表达式，我们可以写出

\begin{aligned} &B_{F^*}(\bigtriangledown F(y)||\bigtriangledown F(x))\\ &=F^*(\bigtriangledown F(y))-F^*(\bigtriangledown F(x)) - \langle \bigtriangledown^{-1}F(\bigtriangledown F(x)), \bigtriangledown F(y) -\bigtriangledown F(x) \rangle\\ &=F^*(\bigtriangledown F(y))-F^*(\bigtriangledown F(x))-\langle x, \bigtriangledown F(y)-\bigtriangledown F(x) \rangle\\ &=\langle \bigtriangledown ^{-1}F(\bigtriangledown F(y)), \bigtriangledown F(y) \rangle-F(\bigtriangledown ^{-1}F(\bigtriangledown F(y)))-\langle \bigtriangledown ^{-1}F(\bigtriangledown F(x)),\bigtriangledown F(x) \rangle + F(\bigtriangledown ^{-1}F(\bigtriangledown F(x))) -\langle x, \bigtriangledown F(y)-\bigtriangledown F(x) \rangle\\ &=\langle y, \bigtriangledown F(y) \rangle -F(y) -\langle x, \bigtriangledown F(x) \rangle +F(x)- \langle x, \bigtriangledown F(y) -\bigtriangledown F(x) \rangle\\ &=\langle y, \bigtriangledown F(y) \rangle -F(y) + F(x)-\langle x, \bigtriangledown F(y) \rangle\\ &=F(x)-F(y)-\langle x-y, \bigtriangledown F(y)=B_F(x||y) \rangle \end{aligned}

这就完成了证明。请注意，虽然未标准化的相对熵(因此相对熵)是它们的一对自变量的凸函数，但这通常不适用于所有的布雷格曼发散，只保证了相对于第一个自变量的凸性。布雷格曼散度的概念可以扩展到不可微函数的情况(见14.3节)。 第五章注释 本章提出熵的概念是由于香农[1948]，他在同一篇文章中更一般地奠定了信息论的基础。伊恩[1961]后来引入了熵(伊恩熵)和相对熵(伊恩散度)的更一般的定义。库尔巴克-莱布勒散度是在[库尔巴克和莱布勒，1951]中引入的。平斯基的不平等是由于平斯基[1964]。与相对熵和L1范数相关的更精细的不等式后来由Csisz ar [1967]和Kullback [1967]给出。参见[里德和威廉姆森，2009]将此类不等式推广到f-发散的情况。布雷格曼分歧的概念是由于布雷格曼[1967]。关于信息论更广泛的材料，我们强烈推荐封面和托马斯[2006]的书。 E.6 练习 图E.4
平行四边形恒等式的说明。 E.6 练习 E.1 平行四边形恒等式。证明X上任意三个分布 $p，q$ 和 $r$ 的以下平行四边形恒等式:

D(p||r)+D(q||r)=2d(\frac{p+q}{2}||r)+D(p||\frac{p+q}{2})+D(q||\frac{p+q}{2}). \qquad \tag{E.34}

如果我们用范数-2的平方代替相对熵，等式成立吗？图E.4说明了这种身份的一个特殊例子。注意，在我们的例子中

\begin{aligned} ||p-r||^2&=||(p-\frac{p+q}{2})+(\frac{p+q}{2})-r||^2\\ &=||p-\frac{p+q}{2}||^2+||\frac{p+q}{2}-r||^2-2\cos(\pi-\theta)||p-\frac{p+q}{2}||||\frac{p+q}{2}-r|| \end{aligned}

和

\begin{aligned} ||q-r||^2&=||(q-\frac{p+q}{2})+(\frac{p+q}{2}-r)||^2\\ &=||q-\frac{p+q}{2}||^2+||\frac{p+q}{2}-r||^2-2\cos(\theta)||q-\frac{p+q}{2}||||\frac{p+q}{2}-r||. \end{aligned}

将这两个量相加表明这个例子的恒等式成立。