神经网络(得分函数)

3 阅读1分钟

得分函数(socre function)

位于网络最后一层(通常是全连接层)的输出,它把输入样本映射到每个类别的原始分数。这些分数是未归一化的实数,值越大代表网络越认为样本属于该类别

案例

对手写的(0-9)数字进行分类,对于一个输入图像x,得分函数会输出一个10维向量(因为0-9有10个数字)f(x)=[s0,s1,...,s9]。假设输出是:[2.1,0.5,-1.2,0.3,3.5,-0.8,1.2,-0.5,0.7,1.0],最大是s4=3.5得分最高,表示网络认为这张图最可能是数字4

关键点

  • 得分函数只是线性变换(f=Wx+b),不含激活函数
  • 它输出是原始分数,不是概率(不满足0-1分布)。
  • 与损失函数的关系:得分函数输出分数后,损失函数(如交叉熵损失)会衡量这些分数与真实标签之间的误差,用于指导网络训练

输入图像x和权重的计算

  • x:输入图像的特征向量(将图像像素展平成一维)
  • W:权重矩阵(形状=类别数x输入特征数)
  • b:偏置向量

案例

假设输入是一张2x2的灰度图(4个像素),分三类(猫、狗、鸟)。流程:

  • 将图像展平为x=[x1,x2,x3,x4]
  • 权重矩阵W是一个3x4的矩阵(每一行对应一个类别的权重)
  • 偏置b是3x1的向量

计算过程

737f2e4f8a75fc42ca028c1ce2bac907.jpg

具体数值

  • 设x=[0.5,0.2,-0.1,0.8]
  • W的第一行(猫的权重)为[0.1,0.3,-0.2,0.4],则猫的原始分数:s猫=0.1x0.5+0.3x0.2+(-0.2)x(-0.1)+0.4x0.8+b1