性能指标

460 阅读3分钟

1. 混淆矩阵

实际P实际N
预测PTP(True Positive)FP(False Positive)
预测NFN(False Negative)TN(True Negative)
  • 真阳性(True Positive, TP): 预测为正样本,实际为正样本,预测正确
  • 真阴性(True Negative, TN):预测为负样本,实际为负样本,预测正确
  • 假阳性(False Positive, FP):预测为正样本,实际为负样本,预测错误(预测为正样本是错的)
  • 假阴性(False Negative, FN):预测为负样本,实际为正样本,预测错误(预测为负样本是错的)

2. 置信度

置信度(confidence),用来判断边界框内的物体是正样本还是负样本,大于置信度阈值的判定为正样本,小于置信度阈值的判定为负样本(即背景)

置信度

置信区间

3. Accuracy准确率

被分对的样本/总样本数

Accuracy=TP+TNTP+TN+FP+FNAccuracy = \frac{TP+TN}{TP + TN + FP + FN}

4. Precision精准度

适用于具体某个类别,表示为被分为正例的示例中实际有多少正例

Precision=TPTP+FPPrecision = \frac{TP}{TP+FP}

4.1 P曲线

P_curve:精准度与置信度的关系 image.png 26个类别的曲线,有的精度比较好,有的不太好,通过整合成一条曲线来展示一个综合性能

5. Recall召回率

recall,召回率,也叫查全率,就是有多少是该查对的被查对了。

Recall=TPTP+FNRecall = \frac{TP}{TP+FN}

5.1 R曲线

R_curve:精准率与置信度的关系 image.png

6. PR曲线

精准率和召回率是一对矛盾的度量,一个高时,另一个就会偏低。PR曲线的面积叫做AP(AveragePrecision)

PR_curve:精准度与召回率的关系图 image.png PR曲线下围成的面积称作AP,所有类别AP的平均值即为mAP。

如果一个学习器的PR曲线A完全包住另一个学习器B的PR曲线,则可断言A的性能优于B。但是A和B发生交叉,那性能该如何判断呢?我们可以根据曲线下方的面积大小来进行比较,但更常用的是平衡点F1。

平衡点(BEP)是 P=R(准确率 = 召回率)时的取值,即斜率为1,F1值越大,我们可以认为该学习器的性能较好。

7. F1 Score

若在一个任务中,Precision和Recall同等重要,则可以参考F1 Score。它是精准度和召回率的调和平均数。

7.1 F1曲线

F1_curve:F1分数与置信度之间的关系 image.png

result.jpg

results.png

  • train/box_loss:GIou损失函数均值,越小方框越准。 yolov5使用GIOU Loss作为bounding box的损失。
  • train/obj_loss:目标检测loss均值,越小目标检测越准
  • train/cls_loss:分类loss均值,越小分类越准
  • metric/precison:精准率(找对的/某一类别找到的)
  • metrics/recall:召回率(找对的/该找对的)
  • val/box_loss:
  • val/obj_loss:
  • val/cls_loss:
  • mAP:mAP是precision和Recall作为两轴后作图围成的面积,m表示平均,是形容PR曲线面积的代替词,叫做平均准确率,越高越好。@后面的数表示判定IoU为正负样本的阈值
  • metrics/mAP_0.5:阈值大于0.5的平均mAP
  • metrics/mAP_0.5:0.95:在不同IoU阈值(从0.5到0.95,步长0.05)上的平均阈值

labes.jpg

image.png

  • 左上 每个类别的数据量
  • labels标签
  • center xy
  • lavels的长和宽