本章的主题是神经网络的学习，这里所说的“学习”是指从训练数据中自动获取最优权重的过程。为了使神经网络进行学习，将导入损失函数这一指标。

从数据中学习

神经网络的特征就是从数据中学习，所谓“从数据中学习”，是指可以由数据自动决定权重参数的值。

机器学习中，一般将数据分为训练数据和测试数据，训练数据也称为监督数据

泛化能力是指处理未被观察过的数据（不包含在训练数据中的数据）的能力。获得泛化能力是机器学习的最终目标。

只对某个数据集过度拟合的状态称为过拟合。避免过拟合也是机器学习的一个重要课题

损失函数

神经网络的学习中所使用的指标称为损失函数。这个损失函数可以用任何函数，但是一般用均方误差和交叉熵误差损失函数表示神经网络性能的“恶劣程度”的指标，即当前的神经网络对监督数据在多大程度上不拟合，在多大程度上不一致。

log是以e为底数的自然对数（log e） y(k)是神经网络的输出，t（k）是正确解标签。 t（k）正确时为1，错误时为0.

比如正确解的标签索引是2 ，与之对应的神经网络的输出是0.6，则交叉熵误差就是-log0.6 = 0.51;若2对应的输出是0.1，则交叉熵误差-log0.1=2.3。也就是说，交叉熵误差的值是由正确解标签的输出结果决定的。