逻辑回归与感知机概念

逻辑回归的本质

逻辑回归的本质是一个 二分类模型。其核心计算过程包括：

1. 输入特征经过 权重向量和偏置 的线性组合；
2. 再通过 激活函数（如 Sigmoid） 映射到 $[0,1]$，输出一个概率值。

结构特点：

• 只有 输入层 → 输出层，没有隐藏层；
• 内部的“加权求和 + 激活函数”运算，可以看作是 单个神经元的基本运算单元；
• 因此逻辑回归整体可以视为 单层感知机。

多层感知机（MLP）

如果在输入层和输出层之间加入 隐藏层，情况就不同了：

• 每个隐藏层包含新的 权重矩阵 + 偏置 + 激活函数；
• 信息会经过多次 非线性变换；
• 网络由此升级为 多层感知机（MLP） ，能够学习更复杂的特征表示。

激活函数的重要性

• 有激活函数：网络能进行非线性变换，学习复杂模式。
• 没有激活函数：无论层数多少，网络最终都会退化为一个等价的线性模型，只能画出 直线/超平面 分隔数据，没有建模复杂关系的能力。

从 MLP 到深度学习

• 多层感知机是深度学习的雏形；
• 后来的 CNN、RNN、Transformer 等复杂网络，都是在 MLP 的基础上引入更复杂的结构和归纳偏置而发展起来的。