随机森林算法

在数据挖掘的过程中，我们经常会遇到一些问题，比如：如何选择各种分类器，到底选择哪个分类算法，是SVM、决策树、还是KNN？如何优化分类器的参数，以便得到更好的分类准确率？

随机森林分类器

随机森林的英文是 Random Forest，英文简写是 RF。它是一个包含多个决策树的分类器，每一个子分类器都是一棵 CART 分类回归树。所以随机森林既可以做分类，又可以做回归。

当它做分类的时候，输出结果是每个子分类器的分类结果中最多的那个。可以理解是每个分类器都做投票，取投票最多的那个结果。
当它做回归的时候，输出结果是每棵 CART 树的回归结果的平均值。

在 sklearn 中，我们使用 RandomForestClassifier() 构造随机森林模型，函数里有一些常用的构造参数：

n_estimators: 随机森林里决策树的个数，默认是10
criterion：决策树分裂的标准，默认是基尼指数（CART算法），也可以选择entropy（ID3算法）
max_depth: 决策树的最大深度，默认是None, 不限制
n_jobs：拟合和预测的时候CPU的核数，默认是1

GridSearchCV 对模型参数进行调优

分类算法，我们经常需要调节网络参数（对应上面的构造参数），目的是得到更好的分类结果。实际上一个分类算法有很多参数，取值范围也比较广，那么该如何调优呢？

Python 给我们提供了一个很好用的工具 GridSearchCV，它是Python的参数自动搜索模块，能够自动决策最优参数。

我们使用 GridSearchCV(estimator, param_grid, cv=None, scoring=None) 构造参数的自动搜索模块，这里有一些主要的参数需要说明：

estimator：代表采用的分类器，如随机森林、决策树、SVM、KNN等
param_grid：代表想要优化的参数及取值
cv：交叉验证的折数，默认是None, 代表使用三折交叉验证
scoring：准确度的评价标准，默认是None，也就是需要使用score函数

举例，我们使用sklearn自带的IRIS数据集，采用随机森林对IRIS数据分类。如果我们想知道n_estimators在1-10的范围内取哪个值的分类结果最好，可以编写代码如下：

# -*- coding: utf-8 -*-
# 使用RandomForest对IRIS数据集进行分类
# 利用GridSearchCV寻找最优参数

from sklearn.datasets import load_iris
from sklearn.ensemble import RandomForestClassifier
from sklearn.model_selection import GridSearchCV

rf = RandomForestClassifier()
parameters = {"n_estimators": range(1, 11)}
iris = load_iris()

# 使用GridSearchCV进行参数调优
clf = GridSearchCV(estimator=rf, param_grid=parameters)

# 对iris数据集进行分类
clf.fit(iris.data, iris.target)

print("最优分数： %.4lf" % clf.best_score_)
print("最优参数：", clf.best_params_)

运行结果：

最优分数： 0.9600
最优参数： {'n_estimators': 3}

使用 Pipeline 进行流水线作业

在进行数据分类的时候往往都是有多个步骤的，比如先对数据进行规范化处理，也可以用PCA对数据降维，最后再使用分类器进行分类。

Python有一种Pipeline管道机制。管道机制就是让我们把每一步都按顺序列下来，从而创建Pipeline流水线作业。每一步都采用（‘名称’，步骤）的方式来表示。

那么我们现在采用Pipeline管道机制，用随机森林对IRIS数据集做一下分类。先用StandardScaler方法对数据规范化，即采用数据规范化为均值为0，方差为1的正态分布，然后采用PCA方法对数据进行降维，最后采用随机森林进行分类，编写代码如下：

from sklearn.datasets import load_iris
from sklearn.decomposition import PCA
from sklearn.ensemble import RandomForestClassifier
from sklearn.model_selection import GridSearchCV
from sklearn.pipeline import Pipeline
from sklearn.preprocessing import StandardScaler

rf = RandomForestClassifier()
parameters = {"randomforestclassifier__n_estimators": range(1, 11)}
iris = load_iris()
pipeline = Pipeline([
    ('scaler', StandardScaler()),
    ('pca', PCA()),
    ('randomforestclassifier', rf)
])

clf = GridSearchCV(estimator=pipeline, param_grid=parameters)
clf.fit(iris.data, iris.target)
print("最优分数： %.4lf" % clf.best_score_)
print("最优参数：", clf.best_params_)

运行结果如下：

最优分数： 0.9600
最优参数： {'randomforestclassifier__n_estimators': 9}