2026-2-11 正规方程

还有两小时放假，有点坐不住啦。 今天在做数学推导的时候，发现矩阵的知识忘得一干二净，还好现在有AI，遇到不会的立马查询，解释的还是非常清楚的。

• 正规方程式通过求解方程来找出使得代价函数最小的参数。假设训练姐特征矩阵为X(包含了$x_{0}=1$)并且我们的训练集结果为向量y，则利用正规方程解出向量$\theta=(X^TX)^{-1}X^Ty$

在Octave中，正规方程写作： $pinv(X'*X)*X'*y$ ==注：对于那些不可逆的矩阵（通常式因为特征之间不独立，如同时包含英尺为单位的尺寸和米为单位的尺寸两个特征，也有可能是特征数量大于训练集的数量），正规方程方法是不能用的。

正规方程的python实现：

import numpy as np
def normalEqn(X,y):
    theta = np.linalg.inv(X.T@X)X.T@y #X.T@X等价于X.T.dot(X)
    return theta