香农极限推导及其物理含义回顾通信原理基础时，比较系统地总结一下香农公式相关知识：包括香农极限是如何定义的，同时结合Dav

回顾通信原理基础时，比较系统地总结一下香农公式相关知识，如香农极限是如何定义的，同时结合David Tse的经典解释、系统的物理意义进行理解。

对香农限的一个严格推导，可将输入、输出和噪声波形 $x(t)$ 、 $y(t)$ 和 $n(t)$ 展开为一个正交函数的完备集，记展开式对应的一组系数为 $\{x_i\}$ 、 $\{y_i\}$ 和 $\{n_i\}$ ，记 $\textbf{X}_N=[x_1,x_2,...,x_N]$ ， $\textbf{Y}_N=[y_1,y_2,...,y_N]$ ，其中 $N=2WT$ ， $y_i=x_i+n_i$ ，则有 $\textbf{X}_N$ 和 $\textbf{Y}_N$ 之间的平均互信息。

I\left(\boldsymbol{X}_{N} ; \boldsymbol{Y}_{N}\right)=\sum_{i=1}^{N} \int_{-\infty}^{\infty} \int_{-\infty}^{\infty} p\left(y_{i} / x_{i}\right) p\left(x_{i}\right) \log \frac{p\left(y_{i} / x_{i}\right)}{p\left(y_{i}\right)} \mathrm{d} y_{i} \mathrm{~d} x_{i}

其中，

p\left(y_{i} / x_{i}\right)=\frac{1}{\sqrt{\pi N_{0}}} \mathrm{e}^{-\left(y_{i}-x_{i}\right)^{2} / N_{0}}

当 $\{x_i\}$ 是统计独立、零均值的高斯随机分量时，即

p\left(x_{i}\right)=\frac{1}{\sqrt{2 \pi} \sigma_{x}} \mathrm{e}^{-x_{i}^{2} / 2 \sigma_{x}^{2}}

其中， $\sigma_x^2$ 是各 $x_i$ 的方差，则对于已知的输入概率密度值 $p(x_i)$ ，有互信息 $I\left(\boldsymbol{X}_{N} ; \boldsymbol{Y}_{N}\right)$ 最大值

\max _{P_{x}} \boldsymbol{I}\left(\boldsymbol{X}_{N} ; \mathbf{Y}_{N}\right)=\sum_{i=1}^{N} \frac{1}{2} \log \left(1+\frac{2 \sigma_{x}^{2}}{N_{0}}\right)=\frac{1}{2} N \log \left(1+\frac{2 \sigma_{x}^{2}}{N_{0}}\right)=W T \log \left(1+\frac{2 \sigma_{x}^{2}}{N_{0}}\right)

同时，有 $x(t)$ 的平均功率

P_{\mathrm{av}}=\frac{1}{T} \int_{0}^{T} E\left[x^{2}(t)\right] \mathrm{d} t=\frac{1}{T} \sum_{i=1}^{N} E\left(x_{i}^{2}\right)=\frac{N \sigma_{x}^{2}}{T}

即有

\sigma_{x}^{2}=\frac{T P_{a v}}{N}=\frac{P_{a v}}{2 W}

代入互信息式，式子两边同时除以 $T$ ，可以得到\textbf{带限AWGN波形信道在平均功率受限条件下}，单位时间的信道容量

C=W \log_2 \left(1+\frac{P_{a v}}{W N_{0}}\right)=W \log_2 (1+\mathrm{SNR})

即可得香农公式。

Davie Tse给出了一种更加直观的、以几何方式约束的香农公式的推导：对于一个 $N$ 维信号空间(根据采样定理，任何一个带宽为 $B$ ，时长为 $T$ 的信号，至少需要 $2BT$ 个样本才能重建，此处 $N=2BT$ )，任一接收信号均可以表示为 $N$ 维欧式空间中的一个点。

对于发送信号功率为 $P$ ，高斯白噪声方差为 $\sigma^2$ 的通信模型，根据大数定律， $N$ 维接收向量将近似位于半径为 $\sqrt{N(P+\sigma^{2})}$ 的超球内。同时，考虑噪声影响，对于单个星座点，接收向量将近似位于半径为 $\sqrt{N}\sigma$ 的噪声附近。

因此，要保证可靠通信，应使星座点周围的噪声球不互相重叠，如下图所示，有噪声球的最大填充数为超球体积与噪声球体积之比

\frac{\sqrt{\mathrm{N}\left(\mathrm{P}+\sigma^2\right)^\mathrm{N}}}{\sqrt{\mathrm{N}\sigma^2}\mathrm{N}}

球.png

填充到超球内的噪声球数量，使得星座可以得到可靠区分。原图自Tse D,Viswanath P . Fundamentals of Wireless Communication. Cambridge University Press, 2005.

即有可靠通信的每个码元的最大比特数

\frac{1}{N}log(\frac{\sqrt{N(P+\sigma^2)}^N}{\sqrt{N\sigma^2}^N})=\frac{1}{2}\log(1+\frac{P}{\sigma^2})

等式两边乘以带宽 $W$ ，代入 $N=2BT$ ，即可得到最大速率

\frac{1}{T}log(\frac{\sqrt{N(P+\sigma^2)}^N}{\sqrt{N\sigma^2}^N})=Wlog(1+\frac{P}{\sigma^2})

由此，可以对信道容量的意义作直观解释。