神经网络一个重要性质是它可以自动从数据中学习到合适的权重参数

最左边的一列称为输入层，最右边的一列称为输出层，中间的一列称为中间层。中间层有时候也称为隐藏层。图中的网络由3层神经元构成，但实质上只有2层神经元有权重。因此称为 ”2层网络“

函数接收x1和x2两个输入信号，输出y0 。b称为偏置的参数，用于控制神经元被激活的容易程度，而w1和w2是表示各个信号的权重的参数，用于控制信号的重要性

新的函数 h（x）

激活函数

h(x)函数将输入信号的总和转换为输出信号，这种函数一般称为激励函数（activation function）

神经元的○中明确显示了激活函数的计算过程，即信号的加权总和为节点a，然后节点a被激活函数h（）转换成节点y。

激活函数是连接感知器和神经网络的桥梁

以阈值为界，一但输入超过阈值，就切换输出。这样的函数叫做阶跃函数

sigmoid函数

神经网络中经常使用的一个激活函数就是 sigmoid函数

ReLU函数在输入大于0时马志杰输入该值；在输出小于等于0时，输出0

恒等函数将输入按原样输出，对于输入的信息，不加以任何改动直接输出

分类问题中使用softmax函数

exp(x) 是表示 ex 的指数函数

打包式的输入数据称为批（batch）

本章介绍神经网络的前向传播。神经网络中使用平滑的sigmoid函数，而感知机中使用的是信号急剧变化的阶跃函数

神经网络中的激活函数使用平滑变化的sigmoid函数或者ReLU函数

机器学习的问题大体可以分为回归问题和分类问题

关于输出层的激活函数，回归问题一般使用恒等函数，分类问题使用softmax函数

分类问题中，输出层的神经元的数量设置为要分类的列别数

输入数据的集合称为批，通过以批为单位进行推理处理，能够实现高速的运算。