机器学习基础知识—熵小知识，大挑战！本文正在参与“程序员必备小知识”创作活动。假设下面有 3 个盒子，如下图左、中和右

小知识，大挑战！本文正在参与“程序员必备小知识”创作活动。

最近学习起来感觉有些迷茫，东一块西一块，没有什么计划又有点迷失方向。不过感觉还是要坚持，有时候在工作压力下的确很辛苦，不过也有很多收获。希望自己也能够认准一个方向，踏踏实实研究一下，提升自己的竞争力，坚持是多数人的不足，我们无需勉强地坚持，可以快乐地去做自己喜欢做的事，有计划克服拖拉就能达到自己心中目标。

假设下面有 3 个盒子，如下图左、中和右，当从左侧盒子中随机抽取一个小球时，我们确信抽出来的是红色小球，说明我们对这个盒子了解很多，也就是说其熵最低。而当从右侧盒子每次抽取一个球，我们没有把握推断会是什么样颜色球。

接下来完一个游戏，下面有 3 个序列也就是红球和黄球按一定顺序排列，游戏是猜中序列的概率分别是多少，

对于第一个序列猜中概率是

0.75 \times 0.75 \times 0.75 \times 0.25 = 0.105

而对于第二个概率

1 \times 1 \times 1 \times 1 = 1

最后一个概率

0.5 * 0.5 * 0.5 * 0.5 = 0.625

上面通过连乘方式来表示概率并不理想，现在就仅仅几个小球，如果成千上百小球得到一个很小很小的数值。如果不喜欢连乘，可以通过 log 将连乘转换为连加。

\log(ab) = \log a + \log b

描述	红球概率	蓝球概率	猜中序列的概率	熵
4(red ball)	1	0	$1 \times 1 \times 1 \times 1 = 1$	0
3(red ball)1(bule ball)	0.75	0.25	$.75 \times 0.75 \times 0.75 \times 0.25 = 0.105$	0.81
2(red ball)2(bule ball)	0.5	0.5	$0.5 * 0.5 * 0.5 * 0.5 = 0.625$	1