1. Perceptron

感知机是一个线性的二元分类器，它的的假设函数为：

另 x0=1, w0=-threshold, 则假设函数可变成如下所示，其中x代表特征值，w代表特征值的权重。

从几何的角度看， h对应的是空间里的一条直线或者一个超平面（w表示 h的法向量），把数据分隔在两边。如下图所示：

2. Perceptron Learning Algorithm (PLA)

(1). 如何调整权重w

如图所示：

(2). 证明 PLA 会终止

想要证明 PLA 会在不断学习后停止，必须要有一个前提就是数据能被完全二分化即线性可分。现在假设有存在正确分类的线 wf, wt 为训练时的线，衡量两个向量接不接近的其中一个方法就是把它们做点积，点积的值越大，某种角度就代表越接近。下图告诉了我们随著修正的次数增加，wf 与 wt 之间的夹角会渐渐缩小。

两个向量点积的结果会变大的原因不一定只有夹角缩小而已，也有可能是向量长度变大所导致。而下面这张图告诉我们 wt 的增长是有限的。

综合以上两点，证明过程如下：