概念及公式

熵

定义： 概念来源于物理学，用于度量一个热力学系统的无序程度；在信息论中，就是对信息不确定性的测量，熵越高、传递的信息越多，反之 详细

公式：如果X是一个离散随机变量，取值空间为M，那么X的熵H(X)的公式： $H(X)=-\sum_{x \in R} p(x)\log_2 p(x)$

三个概念：
a)离散:就是没有表达意义的数字；可测量(或者说带单位的)就是非离散的 知乎解释
b)log函数(对数)的意义：处理天文数字；简化乘、除、开方、乘方的运算。 解释