深度学习(五)全连接前馈网络

105 阅读1分钟

课程链接

全连接前馈网络

知道w和b参数的情况下输入输出的情况
在这里插入图片描述
这样建立起了多层的网络,输入称为输入层,输出的前一层称为输出层,中间的部分称为隐藏层。所谓深度,指的就是有很多层隐藏层。
在这里插入图片描述
神经网络可以将函数运算转化成矩阵的运算,而矩阵运算可以通过GPU进行加速。多层网络则进行多次矩阵运算的迭代。
在这里插入图片描述
在这里插入图片描述
在分类问题中隐藏层充当一个特征提取的角色,在输出层带入softmax函数输出结果
在这里插入图片描述
神经网络要有多少层,每层多少个节点是要视情况而定的。
也有可以自动生成结构的神经网络(EANN)。
自己设计神经网络的连接情况的是卷积神经网络(CNN)。
在这里插入图片描述
在神经网络的梯度计算中一般采用反向传播算法(backpropagation) ,现用很多工具包可以帮助我们便捷地计算。