人工智能学习笔记 - 机器学习算法 - 监督学习 - K-近邻（K-NN）与朴素贝叶斯K-近邻（K-Nearest Ne

人工智能学习笔记 - 机器学习算法 - 监督学习 - K-近邻（K-NN）与朴素贝叶斯

K-近邻（K-Nearest Neighbors, K-NN）和朴素贝叶斯（Naive Bayes）都是非常经典的监督学习算法，前者是基于距离的惰性学习方法，后者是基于概率统计的生成式模型。

K-NN 的核心思想非常直观：
一个样本的类别由距离它最近的 K 个样本共同决定。

给定训练集：

\mathcal{D} = \{(\mathbf{x}_i, y_i)\}_{i=1}^n

预测新样本 $\mathbf{x}$ 的步骤：

d(\mathbf{x}, \mathbf{z}) = \sqrt{\sum_{j=1}^{d} (x_j - z_j)^2}

d(\mathbf{x}, \mathbf{z}) = \sum_{j=1}^{d} |x_j - z_j|

d(\mathbf{x}, \mathbf{z}) = \left( \sum_{j=1}^{d} |x_j - z_j|^p \right)^{1/p}

朴素贝叶斯是一类基于贝叶斯定理的概率分类模型，属于生成式模型。

核心假设：
在给定类别的条件下，各个特征之间相互独立。

P(y \mid \mathbf{x}) = \frac{P(\mathbf{x} \mid y) P(y)}{P(\mathbf{x})}

其中：

分类时只需比较：

\hat{y} = \arg\max_y P(\mathbf{x} \mid y) P(y)

对特征 $\mathbf{x} = (x_1, x_2, \dots, x_d)$ ：

P(\mathbf{x} \mid y) = \prod_{j=1}^{d} P(x_j \mid y)

该假设极大简化了计算，使模型高效可行。

适用于连续特征：

P(x_j \mid y) = \frac{1}{\sqrt{2\pi\sigma_y^2}} \exp\left(-\frac{(x_j - \mu_y)^2}{2\sigma_y^2}\right)

适用于文本、词频数据：

P(x_j \mid y) = \frac{N_{jy} + \alpha}{N_y + \alpha d}

适用于二值特征（出现/未出现）：

P(x_j \mid y) = p^{x_j}(1-p)^{1-x_j}

防止概率为 0：

P(x_j \mid y) = \frac{N_{jy} + \alpha}{N_y + \alpha d}

其中：