25 | 评估指标：我们可以用哪些指标来衡量模型的好坏？

低阶评估指标

2. 精确率与召回率

3. 对数损失

4. 均方根误差

高阶评估指标

1. P-R 曲线

2. ROC 曲线

3. 平均精度均值

本节课讲解了推荐系统的 7 个评估指标，包括准确率、召回率、覆盖率、多样性、新颖度、惊喜度和信任度。此外，本节课还总结了一些经验性的选择指标的方法，比如根据业务场景选择 2~4 个代表性的指标进行高效率的离线实验。在选择指标时，需要根据不同的模型和业务场景综合考虑，避免过度追求某一个指标而忽略了其他影响因素。

小结

这节课，我们重点介绍了模型离线评估中使用的评估指标。我把它们分成了两部分，简单直接的低阶评估指标，还有复杂全面的高阶评估指标。低阶评估指标主要包括准确率，精确率，召回率和均方根误差。准确率是指分类正确的样本占总样本个数的比例，精确率指的是分类正确的正样本个数占分类器判定为正样本个数的比例，召回率是分类正确的正样本个数占真正的正样本个数的比例，而均方根误差的定义是预测值跟真实值之间差值的均方根。高阶指标包括 P-R 曲线，ROC 曲线和平均精度均值。P-R 曲线的横坐标是召回率，纵坐标是精确率；ROC 曲线的横坐标是假阳性率，纵坐标是真阳性率。P-R 曲线和 ROC 曲线的绘制都不容易，我希望你能多看几遍我在课程中讲的例子，巩固一下。最后是平均精度均值 mAP，这个指标是对每个用户的精确率均值的再次平均。