香农熵计算 | 常见案例

香农熵代表了搞清楚一个事件所需要的信息量的大小，其计算公式为:

其中log表示对数，通常使用二进制对数（底数为2）。

例1：假如雨量等级定义为1到16级,计算明天下雨这一事情的信息熵。

如果我们假设每个等级的概率相等（即每个等级有相同的可能性），那么信息熵的计算将最大化。在这种情况下，每个等级的概率为 $\frac{1}{16}$。因此，计算信息熵：

因此，如果每个等级的概率相等，明天下雨这一事情的信息熵为4比特。同理可得，扔一枚硬币，共有两种可能性（正面和反面），这一事件的信息熵可达2比特。投掷一枚8面的骰子的信息熵为3比特。