用矩阵方式重写激活函数推导过程 Comfident 2023-04-15 186 阅读1分钟 用于参考的网络图： 权重矩阵 wlw^{l}wl 例：w3w^{3}w3 [W113W123W133W143W213W223W233W243]\begin{bmatrix} W_{11}^{3} & W_{12}^{3} & W_{13}^{3} & W_{14}^{3} \\\\ W_{21}^{3} & W_{22}^{3} & W_{23}^{3} & W_{24}^{3} \end{bmatrix}⎣⎡W113W213W123W223W133W233W143W243⎦⎤ 偏置向量 blb^{l}bl 例：b3b^{3}b3 [b13b23]\begin{bmatrix} b_{1}^{3} \\\\ b_{2}^{3} \end{bmatrix}⎣⎡b13b23⎦⎤ 上一层激活值 al−1a^{l-1}al−1 例：a2a^{2}a2 [a12a22a32a42]\begin{bmatrix} a_{1}^{2} \\\\ a_{2}^{2} \\\\ a_{3}^{2} \\\\ a_{4}^{2} \end{bmatrix}⎣⎡a12a22a32a42⎦⎤ 激活值 ala^{l}al 例：a3a^{3}a3 [a13a23]\begin{bmatrix} a_{1}^{3} \\\\ a_{2}^{3} \end{bmatrix}⎣⎡a13a23⎦⎤ 则矩阵形式的激活函数为：al=σ(wlal−1+bl)a^{l}=\sigma \left( w^{l}a^{l-1}+b^{l}\right)al=σ(wlal−1+bl) l层神经元的带权输入 zlz^{l}zl zL≡wlal−1+blz^{L}\equiv w^{l}a^{l-1}+b^{l}zL≡wlal−1+bl
