海和月

香农熵代表了搞清楚一个事件所需要的信息量的大小，其计算公式为: $$ H(x)=-\sum p(x)logp(x) $$ 其中log表示对数，通常使用二进制对数（底数为2）。举例硬币、筛子、下雨等场景