菜鸡推荐系统学习笔记汇总，其中不足，望多多指正。

前言

推荐系统在现今海量信息时代可以提供用户建议信息，节省信息搜索时间，简言之推荐系统可以做到：

• 帮助商家提高商品的销售数量；
• 帮助商家销售更多种类商品；
• 增加用户的满意度；
• 增加用户的忠诚度。

那么在设计出一个好的推荐算法前，了解评估一个推荐系统好坏的指标是十分有必要的。本文主要为在阅读相关文献后总结出的几大相关指标，不足之处望多多指正。

推荐系统如何评估？

推荐系统的设计目标

参考文献与可以总结出以下设计推荐算法过程中需要考虑优化的7个目标：

目标	定义
透明度	解释系统工作原理
可辨认	允许用户投诉系统性的错误
信任	推荐系统可以增加用户上平台的信任感
有效性	是否帮助用户更好的找到信息
说服力	用户对于推荐物品是否使用&观看&购买
效率	是否节省了用户的决策是时间
满意度	是否增加了用户的使用愉悦性

详细的解释阐述可见《推荐系统实践、评估》一书。

推荐系统评估指标

推荐系统对用户进行个性化推荐评价衡量，好的推荐系统可以又准又精的把用户最想要的物品在推荐列表里排在前列。同时在考虑推荐系统评估指标时，往往需要综合考虑多个指标，而不是单个的指标，保证推荐的完善性，例如：如果只考虑推荐系统的推荐的准确率一项指标时，在判断是否未来是否地震时，推荐结果都为否往往可以取得较高的准确率，但这并不是一个对人们有效的系统。因此，基于此考量，研究者提出一种通过混淆矩阵的形式来计算推荐系统相关指标。

在定义指标前，需要先了解如下几个相关概念（详图如下）：

• 真正类（True Positive，简称TP）：实例是正类并且被预测成正类；
• 假正类（False Positive，简称FP）：实例是负类并且被预测成正类；
• 真负类（True Negative，简称TN）：实例是负类并且被预测成负类；
• 假负类（False Negative，简称FN）：实例是正类并且被预测成负类； 基于这些指标可以得到如下评估推荐的相关指标：
• TPR：在所有实际为正类的样本中，被正确地判断为正类的比率，计算公式为：$TPR=\frac{FP }{FP+TN}$
• FPR：指的是所有实际为负的样本里，被错判为正类的比率，计算公式为：$FPR=\frac{FP }{FP+TN}$
• percision：指的是推荐为正的样本中实际也为正的比率，计算公式为：$percision=\frac{FP }{FP+TP}$
• recall：指的是所以实际为正的样本中被判别为正的比率，计算公式为： $recall=\frac{TP }{FN+TP}$
• accuracy：指的是预测样本的正确率，计算公式为： $accuracy=\frac{TP+TN }{N+P}$
• F(F_Measure)：一种综合评价指标，当P与R出现矛盾时，使用该指标较为合适又称为（F_socre）$F=\frac{\left(\alpha^{2}+1\right) P \times R}{\alpha^{2}(P+R)}$

写在后面

关于推荐的评估定义，除了笔者陈列总结部分，还有很多其他的评价方式如ROC曲线评估，此处不做详述，笔者仅仅上文所列，作为之后推荐系统的评估指标，用于实验对比，进一步研究需求的小伙伴可以看文末所列的参考文献进行参阅。

参考

项亮.《推荐系统实践》

黄灵美.《推荐系统算法实践》

《推荐系统技术、评估及高效算法》