感知机

感知机是具有输入和输出的算法，给定一个输入后，将输出一个既定的值。

感知机将权重和偏置设定为参数

使用感知机可以表示与门或或门等逻辑电路

异或门无法用过单层感知机来表示

使用2层感知机可以表示异或门

单层感知机只能表示线性空间，而多层感知机可以表示非线性空间

多层感知机可以表示计算机

神经网络

神经网络中的激活函数使用平滑变化的sigmoid函数或ReLU函数

机器学习的问题答题上可以分为回归问题和分类问题

关于输出层的激活函数，回归问题中一般使用恒等函数，分类问题中一般使用softmax函数

输入数据的集合称为批，通过以批为单位进行推理处理，能够实现高速的运算

机器学习中使用的数据分为训练数据和测试数据

神经网络用训练数据进行学习，并用测试数据评价学习到的模型的泛化能力

神经网络的学习以损失函数为指标，更新权重参数，以使损失函数的值减小

利用某个给定的微小值的差分求导数的过程，成为数值微分

利用数值微分，可以计算权重参数的梯度

CNN在此前的全连接层的网络中新增了卷积层和池化层

使用im2col函数可以简单，高效的实现卷积层和池化层

LeNet和AlexNet是CNN的代表性网络

卷积层当输入数据是图像时，卷积层会以3维数据的形式输入数据，并同样以3维数据的形式输出至下一层，因为在CNN中，可以正确理解图形等具有形状的数据。

在CNN中，有时将卷积层的输入输出数据称为特征图，卷积层输入数据称为输入特征图，输出数据称为输出特征图。

在进行卷积层处理之前，有时要向输入数据的周围填入固定的数据，这称为填充

应用滤波器的位置间隔成为步幅