代价函数

我们最终目的是得到f(x) = wx+b的形式，而这个f(x)是个预测值，如何判断预测值是否准确，或者说如何来判定我的模型对不对呢。引用了一个方差均值最小值来判断。

举个例子：

如图所示在这个例子中我们最终要的是拟合出一条直线来尽可能的满足训练数据。我们要做的就是找到损失函数J(w,b) 在这里我们可以将它设置成

$J(w,b)=min(1/2m(∑(f(xi)-yi)^2)) ;$

$f(xi)代表预测输出值;yi为真正的值m代表所有数据个数$

代价函数作用

我们目的是求得最优的代价函数J(w,b)是两个变量我们要求得的就是这两个变量的全局最优，也是图中最低点。

采用的结局方案呢不是去求三维最小值点，我们可以采用等高线法，将相同的J(w,b)值画到二维有wb组成的图像上，这样我们就便于找到了全局最优的点找到最适合的代价函数。

在找最小或者最优解的时候级利用下一个算法了--梯度下降

损失函数、代价函数、目标函数

• 损失函数（Loss Function）：是定义在单个样本上的，是指一个样本的误差。
• 代价函数（Cost Function）：是定义在整个训练集上的，是所有样本误差的平均，也就是所有损失函数值的平均。
• 目标函数（Object Function）：是指最终需要优化的函数，一般来说是经验风险+结构风险，也就是（代价函数+正则化项）。

损失函数、代价函数、目标函数三者详细介绍见博客：blog.csdn.net/qq_44159782…