【原理】机器学习中的最小二乘法公式推导过程

270 阅读1分钟

本文来自《老饼讲解-BP神经网络》www.bbbdata.com/

最小二乘法是基本的线性求解问题之一,本文介绍最小二乘法的原理,和最小二法求解公式的推导

一、什么是最小二乘法

下面简单讲述最小二乘问题与最小二乘法求解公式。

1.1. 什么是最小二乘法

现有A,b,求一x,使得Ax与b的误差最小,即:

minE(x)=(Axb)T(Axb)\displaystyle \text{min}\textbf{E}(x) =(Ax-b)^T(Ax-b)

该问题称为最小二乘问题

1.2. 最小二乘法的求解公式

最小二乘法问题的求解公式为:

x=(ATA)1ATbx=(A^TA)^{-1}A^Tb

二、最小二乘法求解公式的推导

推导思路很简单,只要令E(x)偏导为 0,再进行求解就可以。

最小二乘法求解公式-具体推导过程如下:

在这里插入图片描述 在这里插入图片描述 在这里插入图片描述

即有上述最小二乘法求解公式:

x=(ATA)1ATbx=(A^TA)^{-1}A^Tb

相关链接:

《老饼讲解-机器学习》:老饼讲解-机器学习教程-通俗易懂