深度学习基础理论：常见评价指标以及Loss Function本文盛入浅出的介绍常见的评价指标（准确率等计算方式）以及Lo

前面已经介绍了：

1、深度学习基础理论：混合专家模型以及KV-cache基本原理
2、深度学习基础理论：混合精度训练以及gradient-checkpoint原理

本文主要介绍常见的评价指标以及Loss function

评价指标

准确率/精确率/召回率

	Positive (预测到的正例)	Negative (预测到的反例)
True (预测结果为真)	TP	TN
False (预测结果为假)	FP	FN

争对正案例的计算：

1、准确率计算方式（ACC）： $Acc= \frac{TP+TN}{TP+TN+FP+FN}$ 2、精确率计算方式（Precision）： $\frac{TP}{TP+FP}$ 3、召回率计算方式（Recall）： $\frac{TP}{TP+FN}$ 4、F1计算方式： $\frac{2\times Precision \times Recall}{Precision+ Recall}$

指标	优点	缺点
准确率	- 直观且易理解	- 在类别不平衡的情况下可能误导模型评估
精确率	- 衡量预测为正类的样本中，实际为正类的比例；适用于避免假阳性	- 可能忽视召回率，导致漏掉正类样本（假阴性）
召回率	- 衡量模型对正类样本的识别能力；适用于避免假阴性	- 可能导致精确率较低，增加误报（假阳性）
F1 分数	- 平衡精确率和召回率，适用于不平衡的任务	- 不能单独反映精确率或召回率，可能不适用于需要单独关注某一项的场景

`BLEU`

BLEU 采用一种N-gram的匹配规则，原理比较简单，就是比较译文和参考译文之间n组词的相似的一个占比原文：今天天气不错机器译文：It is a nice day today 人工译文：Today is a nice day 1-gram:

命中5个词，那么计算得到匹配度为： $5/6$ 3-gram:

计算得到匹配度为： $2/4$

在通过结合召回率和惩罚因子之后得到BLEU计算公式为：

BLEU = BP \times exp(\sum_{n=1}^{N}W_nlogP_n)

使用例子，直接使用第三方库sacrebleu

import sacrebleu
hyps = ['我有一个帽衫', '大大的帽子']
refs = ['你好，我有一个帽衫', '帽子大大的']
bleu = sacrebleu.corpus_bleu(hyps, [refs], tokenize='zh')
print(float(bleu.score))
# 59.809989126151606

`Loss Function`

`Cross-Entropy Loss`(交叉熵损失)

交叉熵损失用于分类任务，它度量的是预测概率分布与真实标签分布之间的差异。通常用于多分类问题。交叉熵损失公式（多分类）如下：

L = -\sum_{i=1}^{N}y_ilog(p_i)

其中 $N$ 为类别数量， $y_i$ 真实标签数据， $p_i$ 模型预测概率。二分类交叉熵损失为： $Loss=−[ylog(p)+(1−y)log(1−p)]$ 在pytorch中对于交叉熵损失函数主要参数：

1、label_smoothing (float, optional)：通过平滑标签的方式来避免模型过度自信，提高模型的泛化能力并缓解类别不平衡问题的技术。假设模型有 C 个类别，标签为 y，真实标签的平滑值为 ε，则：对于真实类别 y = 1，标签值变为 1 - ε；对于其他类别 y ≠ 1，标签值变为 ε / (C - 1)
2、ignore_index (int, optional)：忽略某些特定的标签，通常用于标记某些数据的特殊情况，如填充（padding）区域、无效标签或其他不需要参与损失计算的标签
3、reduction (str, optional)：'none'、'mean' 和 'sum'分别表示对最后 不汇总、平均值、求和

⭐值得注意的是，在pytorch的交叉熵损失里面已经计算了softmax/sigmoid，所以模型输出如果用交叉熵损失函数就不需要用softmax/sigmoid处理

`Mean Squared Error`(均方误差)

均方误差损失用于回归任务，度量预测值与真实值之间的差异。MSE 计算的是预测值和实际值的平方误差的平均值。MSE 公式：

L = \frac{1}{N}\sum_{i=1}^{N}(y_i- p_i)^2

其中 $N$ 为类别数量， $y_i$ 真实标签数据， $p_i$ 模型预测概率

例子：比如说预测类别（假设为3），模型输出之后通过sigmoid/softmax处理之后得到：

预测	真实
0.3 0.3 0.4	0 0 1 (A)
0.3 0.4 0.3	0 1 0 (B)
0.1 0.2 0.7	1 0 0 (C)

均方误差计算： $\frac{(0.3-0)^2+(0.3-0)^2+(0.4-1)^2+...}{3}=0.81$ 交叉熵计算： $\frac{-(0\times log0.3+ 0\times log0.3+ 1\times log0.4+ ...)}{3}=1.37$

`Focal Loss`

**Focal Loss**主要用于处理样本失衡问题（样本里面标签不平衡问题，比如说目标识别，可能会得到很多框，但是可能只要一个框是所需的），其原理也很简单可以直接在原交叉熵基础上补充一个因子即可。

FL(p_t)=-\alpha_t(1-p_t)^{\gamma}log(p_t)

$\gamma$ ：调节因子，用于控制对易分类样本的惩罚程度。它是一个非负实数，通常设置为大于 0 的值。当 $\gamma$ >0 时，随着 $p_t$ 的增加， $(1-p_t)^{\gamma}$ 的值会迅速减小，从而降低易分类样本的损失值。这样可以使得模型更加关注那些难以分类的样本。 $\alpha$ : 平衡因子，用于调整正类和负类之间的权重。它是一个可调参数，通常设置为 $\alpha$ 对于正类和 1− $\alpha$ 对于负类。当数据集中正负样本数量不均衡时，可以通过调整 $\alpha$ 来平衡两类样本的贡献。例如，在一个正负样本比例为 1:9 的数据集中，可以将 $\alpha$ 设置为 0.9，以增加正类样本的权重

import torch
import torch.nn as nn
import torch.nn.functional as F

class FocalLoss(nn.Module):
    """Focal Loss implementation."""
    
    def __init__(self, gamma=1.5, alpha=0.25):
        super().__init__()
        self.gamma = gamma
        self.alpha = alpha

    def forward(self, pred, label, mask_labels=None):
        """Calculates focal loss with optional mask_labels."""
        loss = F.binary_cross_entropy_with_logits(pred, label, reduction='none')
        pred_prob = pred.sigmoid()
        p_t = label * pred_prob + (1 - label) * (1 - pred_prob)
        loss *= (1.0 - p_t) ** self.gamma
        
        if self.alpha > 0:
            loss *= label * self.alpha + (1 - label) * (1 - self.alpha)
        
        if mask_labels is not None:
            loss *= mask_labels.float()
            return loss.sum() / mask_labels.sum()
        
        return loss.mean()

if __name__ == '__main__':
    h, w = 500, 500
    labels_parent = torch.randint(0, 2, (h, w), dtype=torch.float32)
    tmp_labels = torch.zeros(1000, 1000)
    tmp_labels[:h, :w] = labels_parent
    tmp_labels_mask = torch.zeros(1000, 1000)
    tmp_labels_mask[:h, :w] = 1 
    pred = torch.randn(1, 1000, 1000)

    focal_loss = FocalLoss()
    loss = focal_loss(pred, tmp_labels.unsqueeze(0), tmp_labels_mask)
    print(loss)

对于 FocalLoss另外一个改进为：CB Loss用于改进样本分布不均衡问题：

\mathcal{L} = - \frac{1 - \beta}{1 - \beta^{n_y}} \sum (1 - p_y)^\gamma \log(p_y)

L1 loss

L1 loss：算预测值与真实值之间的绝对差值来衡量模型的预测误差，公式为：

L = \frac{1}{N}\sum_{i=1}^{N}|y_i- \hat{y}_i|

Huber Loss

Huber Loss用于回归任务的损失函数，它结合了均方误差（MSE）和绝对误差（MAE）的优点，可以减少对异常值（outliers）的敏感性，同时保持较好的梯度性质

\mathrm{Huber~Loss}= \begin{cases} \frac{1}{2}(y-\hat{y})^2 & \mathrm{if}|y-\hat{y}|\leq\delta \\ \delta*(|y-\hat{y}|-\frac{1}{2}*\delta) & \mathrm{otherwise} & & \end{cases}

参考

1、pytorch.org/docs/stable…
2、pytorch.org/docs/stable…
3、Focal Loss for Dense Object Detection
4、blog.csdn.net/zhang2010ha…
5、openaccess.thecvf.com/content_CVP…

深度学习基础理论：常见评价指标以及Loss Function

评价指标

准确率/精确率/召回率

BLEU

Loss Function

Cross-Entropy Loss(交叉熵损失)

Mean Squared Error(均方误差)

Focal Loss