多层感知机

309 阅读1分钟

感知机

截屏2023-01-03 下午5.40.43.png

感知机的收敛定理

截屏2023-01-03 下午5.45.16.png

总结

  • 感知机是一个二分类模型
  • 感知机的求解算法等价于批量为1的梯度下降
  • 感知机只能产生线性分割面,无法拟合XOR函数

多层感知机

单隐藏层

截屏2023-01-03 下午7.14.06.png

激活函数

截屏2023-01-03 下午7.14.37.png

截屏2023-01-03 下午7.14.47.png

截屏2023-01-03 下午7.14.58.png

多分类任务

截屏2023-01-03 下午7.25.27.png

多隐藏层

截屏2023-01-03 下午7.16.01.png

总结

  • 多层感知机使用隐藏层和激活函数来构建非线性模型
  • 常用的激活函数为Tanh, ReLu, Sigmod
  • 使用Softmax来处理多分类
  • 超参数为隐藏层数,和各个隐藏层的大小