机器学习笔记——感知机、多层感知机(MLP)、支持向量机(SVM)本笔记介绍机器学习中的感知机、MLP、SVM算法。感知

大家好，这里是好评笔记，本文为试读，查看全文请移步公主号：Goodnote。本笔记介绍机器学习中的感知机、MLP、SVM算法。

@[toc]

感知机（Perceptron）

感知机是机器学习中最基本的线性分类模型之一，只有一个输入层和一个输出层，没有隐藏层。是一个简单的线性分类器，只适用于线性可分的数据集。它最初由 Frank Rosenblatt 于 1957 年提出，用于解决二分类问题。感知机的目标是找到一个能够将两个类别的样本进行线性分割的超平面（即线性决策边界）。

模型定义

感知机模型的主要思想是：通过一个线性函数将输入的特征 x 映射到一个输出类别 y ，其基本形式如下：

公式：

$f(x) = \text{sign}(w \cdot x + b)$

$x$ 是输入的特征向量，表示样本的数据。
$w$ 是权重向量，表示每个特征的重要性。
$b$ 是偏置项，它可以移动分类边界，使得模型更加灵活。
$w \cdot x$ 是权重和输入的点积，这个值决定了输入样本在分类边界的哪一侧。
$\text{sign}(\cdot)$ 是符号函数，它将点积的结果映射为 +1 或 -1，用于区分两个类别：
- 如果 $w \cdot x + b > 0$ ，则 $f(x) = 1$ ，即样本属于正类。
- 如果 $w \cdot x + b < 0$ ，则 $f(x) = -1$ ，即样本属于负类。

训练过程

感知机的训练过程的核心思想是：对于每个错误分类的样本，调整权重和偏置，使其更接近正确分类。（类似神经网络中的前向传播和反向传播）其学习规则如下：以下是图片内容的文字提取：

初始化：将权重 $w$ 和偏置 $b$ 初始化为 0 或随机小值。
遍历数据集：对训练集中的每个样本 $(x_i, y_i)$ ，其中 $y_i$ 是样本的真实类别（取值为 1 或 -1）。
判断分类结果：计算 $y_i(w \cdot x_i + b)$ 。
- 如果 $y_i(w \cdot x_i + b) \leq 0$ ，表示分类错误，需要更新权重和偏置。
- 如果 $y_i(w \cdot x_i + b) > 0$ ，表示分类正确，无需更新。
更新规则（对于错误分类的样本）： $w = w + \eta \cdot y_i \cdot x_i$ $b = b + \eta \cdot y_i$ 其中， $\eta$ 是学习率，用于控制每次调整的幅度。
重复步骤 2-4，直到所有样本被正确分类或达到最大迭代次数。

优势和局限性

详细全文请移步公主号：Goodnote。

参考：欢迎来到好评笔记（Goodnote）！