应用信息论基础

信息熵的定义 信息熵 每一个随机事件都有自信息$I(a_{i})$ 针对系统，取各随机事件自信息的统计平均： $$ E_{p}I(a_{i})=\sum_{i}^{}p(a_{i})I(a_{i})=

本文已参与「新人创作礼」活动，一起开启掘金创作之路 随机变量的自信息 X、Y、Z：随机变量 x、y、z：随机变量的具体取值 $x、y、z$：集合 $|x|、|y|、|z|$：集合的势（集合中元素的个数