决策树随记

衡量标准-熵

在0-1之间，对数取值为负，所以在公式前面添加一个负号。

所有特征全部遍历一遍，选择信息增益最大的那个作为非叶子节点。

信息增益比--实例

先对连续值数据做一个排序，然后寻找在哪个位置(离散点)对其进行切分。

剪枝策略

预剪枝比后剪枝更易于实现。