感知机

• 感知机是一个二分类模型，最早的ai模型之一
• 它的求解算法等价于使用批量大小为1的梯度下降
• 不能拟合XOR函数

“异或”问题是给定两个二进制输入的问题，我们必须预测“异或”逻辑门的输出。提醒一下，如果两个输入不相等，则XOR函数应返回1，否则返回0。

对比（二分类）

• 回归输出实数
• softmax回归输出概率

训练感知机

• 判断$y_i$与真实值的符号是否相同，如果预测对了就同号大于0。$y_i$是一个标记值（1或-1），利用他的正负性来调整w向量的更新情况。

收敛定理

感知机不能拟合XOR函数，只能产生线性分割面

多层感知机

隐藏层大小是超参数

需要非线性激活函数，不然还是单层感知机

激活函数

本质上引入非线性

• sigmoid函数
• tanh函数 — ReLU函数

多类分类

softmax函数：将所有输入拉到0～1的概率，相加为1。与多类分类区别在于：没有中间隐含层