【漫话机器学习系列】180.神经元（Neuron）人工神经网络（Artificial Neural Network, A

神经元（Neuron）详解

人工神经网络（Artificial Neural Network, ANN）是深度学习的核心组成部分，而神经元（Neuron）是其最基本的单元。神经元的工作方式模拟了人脑中的生物神经元，即接收输入信号、加权处理、求和后添加偏差，最后通过激活函数转换得到输出信号。

本文将详细解析神经元的组成、数学原理以及其在深度学习中的应用，并结合提供的示意图进行说明。

根据示意图，一个人工神经元的结构可以分为以下几个部分：

输入层（Input） ：神经元接收多个输入信号（数据），在神经网络中，这些输入值通常来自前一层的神经元或原始数据特征。
权重（Weights, w） ：每个输入都会有一个对应的权重值，它决定了该输入对最终输出的贡献程度。
偏差（Bias, b） ：一个额外的调整项，使得神经元可以更好地拟合数据，提高模型的灵活性。
加权求和（Summation, ∑） ：对所有输入的加权和进行计算，并加上偏差项，即：

$z = \sum_{i=1}^{n} w_i x_i + b$
激活函数（Activation Function, ϕ） ：通过激活函数对加权求和值 z 进行非线性变换，以便引入非线性能力，使神经网络可以学习复杂的数据模式。
输出（Output） ：经过激活函数转换后的结果就是神经元的最终输出，它可以用于下一层的计算或作为最终的预测值。

假设神经元有 n 个输入，分别记作 $x_1, x_2, ..., x_n$ ，其对应的权重为 $w_1, w_2, ..., w_n$ ，偏差为 b，则神经元的计算过程如下：

$z = \sum_{i=1}^{n} w_i x_i + b$

这一步是一个线性变换，即所有输入与权重的乘积求和后再加上偏差。

为了引入非线性能力，我们需要对 z 进行非线性变换，即：

$a = \phi(z)$

其中， $\phi(z)$ 是激活函数，它决定了神经元的输出如何变化。

$\phi(z) = \frac{1}{1+e^{-z}}$

$\phi(z) = \frac{e^z - e^{-z}}{e^z + e^{-z}}$

$\phi(z) = \max(0, z)$

$\phi(z) = \max(0.01z, z)$

$\phi(z_i) = \frac{e^{z_i}}{\sum_{j} e^{z_j}}$

神经元的核心作用是特征提取和非线性变换，它可以通过权重学习数据的模式，并通过激活函数引入非线性能力，从而可以拟合复杂的函数关系。

假设一个神经元有 3 个输入，其权重和偏差如下：

偏差 b=0.3b = 0.3，计算步骤如下：

加权求和：

$z = (2.0 \times 0.5) + (3.0 \times -1.2) + (1.5 \times 0.8) + 0.3 = 1.0 - 3.6 + 1.2 + 0.3 = -1.1$
使用 ReLU 作为激活函数：

$a = \max(0, -1.1) = 0$

最终输出为 0。