Python随机森林调参红酒品质预测2.加载数据输出 3.数据分析输出可以看出quality 数值主要在5，6附近

2.加载数据


dataSet = pd.read_csv("data\\winequality-red.csv");

#print(dataSet.head());

pd.set_option('display.max_columns',None);# DataFrame 显示所有列

#print("describe",dataSet.describe());

print("shape",np.shape(dataSet));

输出

在这里插入图片描述

3.数据分析


dataSet.hist();#直方图

plt.show();

#变量的相关性 展示

sns.heatmap(dataSet.astype(float).corr(),linewidths=0.1,vmax=1.0, square=True,linecolor='white', annot=True)

plt.show();

输出

在这里插入图片描述

可以看出quality 数值主要在5，6附近我们可以以5为分界点

在这里插入图片描述

4.划分x，y 训练集和测试集

以y1作为target值


y = dataSet["quality"];  #将 quality 作为target

x = dataSet.drop("quality",axis=1); # 其他作为属性

# 将葡萄酒分成两组   >5为 好酒   为1   小于5为1

y1 = (y>5).astype(int); #改变np.array中所有数据元素的数据类型。

#print(y1);

# 分 训练集合测试集合 7:3

xtrain,xtest,ytrain,ytext = model_selection.train_test_split(x,y1,test_size=0.3,random_state=1);

5.交叉验证用训练集进行交叉训练看看不进行调参的 score为多少


RF_clf = RandomForestClassifier();

cv_score = model_selection.cross_val_score(RF_clf,xtrain,ytrain,scoring='accuracy',cv=10);  #scoring='accuracy' 正确率

print("cv_score",cv_score);

print("cv_score_mean",cv_score.mean());  #mean()平均值

输出

在这里插入图片描述

此时什么参数都没有调平均的score已经达到0.7998

6.调参

我们首先调n_estimators

默认的n_estimators值是100，

我们让n_estimators从50开始每次加10 最高到300 运行看平均score有什么变化


n_estimators_score = [];

for n in np.arange(50,300,10):

    RF_clf = RandomForestClassifier(n_estimators=n);

    cv_score = model_selection.cross_val_score(RF_clf, xtrain, ytrain, scoring='accuracy',cv=10);  # scoring='accuracy' 正确率

    n_estimators_score.append(cv_score.mean());

plt.figure();

plt.plot(np.arange(50,300,10),n_estimators_score);

plt.show();

输出

在这里插入图片描述

我们可以看到此时score在0.7825-0.801波动

在70左右取得较高的值

所有我们进一步让n_estimators从60取到80 看看具体那一个值最好

这次我们直接用GridSearchCV


param_grid = {'n_estimators':range(60,80,1)};

rfc1 = model_selection.GridSearchCV(RandomForestClassifier(),param_grid=param_grid,cv=5);

rfc1.fit(xtrain,ytrain);

print("best_params_",rfc1.best_params_);

print("best_score_",rfc1.best_score_);

输出

在这里插入图片描述

现在就以n_estimators=79为值调一下max_depth


param_grid = {'n_estimators':[79],'max_depth':range(5,30,1)};

rfc1 = model_selection.GridSearchCV(RandomForestClassifier(),param_grid=param_grid,cv=5);

rfc1.fit(xtrain,ytrain);

print("best_params_",rfc1.best_params_);

print("best_score_",rfc1.best_score_);

输出

在这里插入图片描述

增长了0.003左右

我们继续在以上两个值的基础上调一下min_samples_leaf


param_grid = {'n_estimators':[79],'max_depth':[24],'min_samples_leaf':range(1,10,1)};

rfc1 = model_selection.GridSearchCV(RandomForestClassifier(),param_grid=param_grid,cv=5);

rfc1.fit(xtrain,ytrain);

print("best_params_",rfc1.best_params_);

print("best_score_",rfc1.best_score_);