全连接前馈网络
在知道w和b参数的情况下输入输出的情况
这样建立起了多层的网络,输入称为输入层,输出的前一层称为输出层,中间的部分称为隐藏层。所谓深度,指的就是有很多层隐藏层。
神经网络可以将函数运算转化成矩阵的运算,而矩阵运算可以通过GPU进行加速。多层网络则进行多次矩阵运算的迭代。
在分类问题中隐藏层充当一个特征提取的角色,在输出层带入softmax函数输出结果
神经网络要有多少层,每层多少个节点是要视情况而定的。
也有可以自动生成结构的神经网络(EANN)。
自己设计神经网络的连接情况的是卷积神经网络(CNN)。
在神经网络的梯度计算中一般采用反向传播算法(backpropagation) ,现用很多工具包可以帮助我们便捷地计算。