感知机

1. 输入空间和输出空间

• 输入空间：记作 ( $\mathcal{X} \subseteq \mathbb{R}^n$ )，表示实例的特征向量所在的多维空间。每个实例 ( $x \in \mathcal{X}$ ) 是一个 ( $n$ )-维向量，对应于特征空间中的一个点。

• 输出空间：记作 ( $\mathcal{Y} = \{+1, -1\}$)，表示实例所属的类别。这里的二元输出意味着感知机用于解决二分类问题。

---

2. 感知机函数

感知机通过以下函数将输入映射到输出：

• ( w )：是感知机的权重向量（weight vector），属于 ( $\mathbb{R}^n$ )。它决定了超平面的方向。

• ( b )：是偏置项（bias），属于 ( $\mathbb{R}$ )。它决定了超平面的位置。

• ( $w \cdot x$ )：表示 ( $w$ ) 和 ( $x$ ) 的内积（dot product），即 ( $w_1x_1 + w_2x_2 + \cdots + w_nx_n$ )。

• ( $\text{sign}(\cdot)$ )：符号函数，根据输入值的正负返回 ( +1 ) 或 ( -1 )：

  $$\text{sign}(x) = \begin{cases} +1, & \text{if } x \geq 0 \\ -1, & \text{if } x < 0 \end{cases}$$

---

3. 感知机的工作原理

感知机是一种线性分类器，它的目标是找到一个能够将两类数据分开的超平面。这个超平面由权重向量 ( $w$ ) 和偏置 ( $b$ ) 定义，方程为：

对于任意输入 ( $x$ )，计算 ( $w \cdot x + b$ ) 的值，并通过符号函数 ( $\text{sign}(\cdot)$) 确定其类别：

• 如果 ( $w \cdot x + b \geq 0$ )，则 ( $f(x) = +1$ )，表示 ( $x$ ) 属于正类；
• 如果 ( $w \cdot x + b < 0$ )，则 ( $f(x) = -1$ )，表示 ( $x$ ) 属于负类。

---

4. 假设空间

感知机的假设空间是指所有可能的线性分类器集合，即所有形如 ( $f(x) = w \cdot x + b$) 的函数集合。这些函数在特征空间中定义了不同的超平面，每个超平面都对应一种可能的分类方式。

---

总结

感知机是一个简单的线性分类模型，通过学习权重向量 ( $w$ ) 和偏置 ( $b$ )，能够在特征空间中找到一个最优的超平面，将不同类别的数据分开。它适用于线性可分的数据集，并且可以通过梯度下降等方法进行参数优化。