第二章：模型评估与选择

性能度量

性能度量是衡量模型泛化能力的评价标准，反映了任务需求；使用不同的性能度量往往会导致不同的评判结果

回归任务最常用的性能度量是“均方误差”：

对于分类任务,错误率和精度是最常用的两种性能度量：

· 错误率：分错样本占样本总数的比率

· 精度（正确率）：分对样本占样本总数的比率

错误率 = 1 - 精度

查准率&查全率****

查准率：在预测结果中，预测正例对了所占所有预测正例中的比例（竖着来）

查全率：在真实情况中，预测正例对了所占所有真实情况中的比例（横着来）

P-R曲线

交叉验证

为什么用交叉验证法？

1. 交叉验证用于评估模型的预测性能，尤其是训练好的模型在新数据上的表现，可以在一定程度上减小过拟合

2. 还可以从有限的数据中获取尽可能多的有效信息

另外一种折中的办法叫做K折交叉验证，如果K=5，那么我们利用五折交叉验证的步骤就是：

1.将所有数据集分成5份

2.不重复地每次取其中一份做测试集，用其他四份做训练集训练模型，之后计算该模型在测试集上的MSEi

3.将5次的MSEi取平均得到最后的MSE

西瓜书课后习题

数据集包含1000个样本，其中500个正例、500个反例，将其划分为包含70%样本的训练集和30%样本的测试集用于留出法评估，试估算有多少种划分方式。****

根据分层抽样的原则，30%的测试样本共300个，其中必须包含150个正例和150个反例，选取方式:500个正例随机抽取150个，500个反例随机抽取150个，两个过程是相互独立的，则共有*种

2.2 数据集包含100个样本，其中正、反例各一半，假定学习算法所产生的模型是将新样本预测为训练样本数较多的类别（训练样本数相同时进行随机猜测），试给出用10折交叉验证发和留一法分别对错误率进行评估的结果****

10折交叉验证：将样本集划分为10个同分布不相交的子集，将其中9个作为训练集，1个作为测试集，每个划分可得到10次不同的训练和验证，对于题目种的模型，总是将新样本预测为训练样本数较多的类别，但是每一次验证时，训练集的正例和反例一样多，将会进行随机猜测，每次都进行随即猜测，则其错误率的期望是50%

留一法：k折交叉验证中k等于样本个数的特例，在题目所述的情况下，即将100个样本每次取出1个样本用于测试，99个用于训练，当1个测试样本为正例时，99个训练样本为50个反例和49个正例，新样本将被预测为出现较多的反例，而测试样本的ground truth是正例，必然会预测错误，当测试样本为反例时同理必然会预测错误，此时错误率的期望为100%

考试-机器学习复习/简单总结西瓜书（2.第二章（2））