本文已参与「掘力星计划」，赢取创作大礼包，挑战创作激励金。
小知识，大挑战！本文正在参与“程序员必备小知识”创作活动。

一 逻辑回归模型优化

fullx = []
fsx = []
 
threshold = np.linspace(0,abs((LR_.fit(data.data,data.target).coef_)).max(),20)
 
k=0
for i in threshold:
    X_embedded = SelectFromModel(LR_,threshold=i).fit_transform(data.data,data.target)
    fullx.append(cross_val_score(LR_,data.data,data.target,cv=5).mean())
    fsx.append(cross_val_score(LR_,X_embedded,data.target,cv=5).mean())
    print((threshold[k],X_embedded.shape[1]))
    k+=1
    
plt.figure(figsize=(20,5))
plt.plot(threshold,fullx,label="full")
plt.plot(threshold,fsx,label="feature selection")
plt.xticks(threshold)
plt.legend()
plt.show()

这样我们就实现了在特征选择的前提下，保持模型拟合的高效，现在，如果有一位医生可以来为我们指点迷津，看 看剩下的这些特征中，有哪些是对针对病情来说特别重要的，也许我们还可以继续降维。当然，除了嵌入法，系数 累加法或者包装法也是可以使用的

二 系数累加法

系数累加法的原理非常简单。在PCA中，我们通过绘制累积可解释方差贡献率曲线来选择超参数，在逻辑回归中我 们可以使用系数coef_来这样做，并且我们选择特征个数的逻辑也是类似的：找出曲线由锐利变平滑的转折点，转 折点之前被累加的特征都是我们需要的，转折点之后的我们都不需要。不过这种方法相对比较麻烦，因为我们要先 对特征系数进行从大到小的排序，还要确保我们知道排序后的每个系数对应的原始特征的位置，才能够正确找出那 些重要的特征。如果要使用这样的方法，不如直接使用嵌入法来得方便。

三 简单快速的包装法

相对的，包装法可以直接设定我们需要的特征个数，逻辑回归在现实中运用时，可能会有”需要5~8个变量”这种需 求，包装法此时就非常方便了。不过逻辑回归的包装法的使用和其他算法一样，并不具有特别之处，

四 梯度下降

重要参数max_iter 逻辑回归的数学目的是求解能够让模型最优化，拟合程度最好的参数 的值，即求解能够让损失函数 最小化的 值。对于二元逻辑回归来说，有多种方法可以用来求解参数 ，最常见的有梯度下降法(Gradient Descent)，坐标下 降法(Coordinate Descent)，牛顿法(Newton-Raphson method)等，其中又以梯度下降法最为著名。每种方法都 涉及复杂的数学原理，但这些计算在执行的任务其实是类似的。

五 步长的概念与解惑

核心误区:步长到底是什么? 许多博客和教材在描述步长的时候，声称它是"梯度下降中每一步沿梯度的反方向前进的长度"，"沿着最陡峭最易下山的位置走的那一步的长度"或者"梯度下降中每一步损失函数减小的量"，甚至有说，步长是二维平面著名的求导三角形中的"斜边“或者"对边""的。