机器学习

概述 线性回归大家族 回归是一种应用广泛的预测建模技术，这种技术的核心在于预测的结果是连续型变量。决策树，随机森林，支持向量机的分类器等分类算法的预测标签是分类变量，多以{0，1}来表示，而无监督学习

案例：预测明天是否会下雨 SVC在现实中的应用十分广泛，尤其实在图像和文字识别方面。但SVC真实应用的代码其实就是sklearn中的三行，真正能够展现出SVM强大之处的，反而很少是案例本身，而是我们之

使用SVC时的其他考虑 SVC处理多分类问题：重要参数decision_function_shape 之前所有的SVM内容，全部是基于二分类的情况来说明的，因为支持向量机是天生二分类的模型。不过，它也

SVC的模型评估指标 从上一节的例子中可以看出，如果我们的目标是希望尽量捕获少数类，那准确率这个模型评估逐渐失效，所以我们需要新的模型评估指标来帮助我们。如果简单来看，其实我们只需要查看模型在少数类上

二分类SVC的进阶 支持向量机分类器，是在数据空间中找出一个超平面作为决策边界，利用这个决策边界来对数据进行分类，并使分类误差尽量小的模型。决策边界是比所在数据空间小一维的空间，在三维数据空间中就是一

参数列表 参数 说明 C 浮点数，可不填，默认1.0松弛系数的惩罚项系数。如果C值设定比较大，那SVC可能会选择边际较小的，能够更好地分类所有训练点的决策边界。如果C的设定值较小,那SVC会尽量最大化

硬间隔与软间隔：重要参数C SVM在软间隔数据上的推广 到这里，我们已经了解了线性SVC的基本原理，以及SVM如何被推广到非线性情况下，还了解了核函数的选择和应用。但实际上，我们依然没有完全了解skl

非线性SVM与核函数 SVC在非线性数据上的推广 为了能够找出非线性数据的线性决策边界，我们需要将数据从原始的空间x投射到新空间$\Phi(x)$中。$\Phi$是一个映射函数，它代表了某种非线性的变

线性SVM决策过程的可视化 我们可以使用sklearn中的式子来为可视化我们的决策边界，支持向量，以及决策边界平行的两个超平面。 导入需要的模块 实例化数据集，可视化数据集 画决策边界：理解函数con

sklearn.svm.SVC 线性SVM用于分类的原理 线性SVM的损失函数详解 要理解SVM的损失函数，我们先来定义决策边界。假设现在数据中总计有N个训练样本，每个训练样本i可以被表示为$(x_i

SVM概述 支持向量机（SVM，也称为支持向量网络），是机器学习中获得关注最多的算法没有之一。它源于统计学习理论，除了集成算法之外，接触的第一个强学习器。 从算法的功能来看，SVM几乎囊括了我们前六周

报错信息：ValueError: Only binary classification is supported. The type of the target is multiclass. 新版sk

参数列表 参数 含义 n_clusters 整数可不填，默认8要分成的簇数，以及要生成的质心数 init 可输入”k-means++'',"random”或者一个n维数组初始化质心的方法，默认”k-m

案例：聚类算法用于降维，KMeans的矢量量化应用 K-Means聚类最重要的应用之一是非结构数据（图像，声音）上的矢量量化（VQ）。 非结构化数据往往占用比较多的储存空间，文件本身也会比较大，运算非

sklearn.cluster.KMeans n_clusters n_clusters是KMeans中的k，表示着我们告诉模型我们要分几类。这是KMeans当中唯一一个必填的参数，默认为8类，但通常

概述 无监督学习与聚类算法 有监督学习 算法： 决策树，随机森林，逻辑回归 数据格式： 模型在训练的时候，即需要特征矩阵X，也需要真实标签y 无监督学习 算法 PCA降维 聚类算法 数据格式 训练的时

penalty 可以输入"11"或"12"来指定使用哪一种正则化方式，不填写默认’12" 注意，若选择’11“正则化，参数Solver仅能够使用求解方式"liblinear"和"saga"，若使用“1

用逻辑回归制作评分卡 评分卡是一种以分数形式来衡量一个客户的信用风险大小的手段 它衡量向别人借钱的人（受信人，需要融资的公司）不能如期履行合同中的还本付息责任 借钱给别人的人（授信人，银行等金融机构）

参数(二) 梯度下降：重要参数max_iter 逻辑回归的数学目的是求解能够让模型最优化，拟合程度最好的参数的值，即求解能够让损失函数最小化的值。对于二元逻辑回归来说，有多种方法可以用来求解参数，最常

参数 重要参数penalty & C 正则化 正则化是用来防止模型过拟合的过程，常用的有L1正则化和L2正则化两种选项，分别通过在损失函数后加上参数向量$\theta$的L1范式和L2范式的倍数来实现