6_线性模型

PCA

1. 找到K个基，使其能够充分表示原向量
2. 何为充分：使其原向量在新的基上的投影值方差最大。多维向量即用协方差。
3. 利用矩阵对角化，求出变换矩阵
4. PCA前必须进行零均值化
5. 无监督

LDA：

1. 可用于降维和分类
2. 也用来矩阵分解思想
3. 有监督

线性回归

1. 回归问题
2. 1，2维和高中学的线性函数类似，一般实际应用是在高维情况

模型数学表达式：

损失函数：

根据损失函数去训练学习模型数学表达式里面的参数w。 如何训练：根据梯度下降优化算法来更新参数。

逻辑回归

1. 解决二分类问题
2. 逻辑回归假设因变量 y 服从伯努利分布，而线性回归假设因变量 y 服从高斯分布
3. 是一个线性回归模型再输入到sigmoid

模型数学表达式：

损失函数：

根据损失函数去训练学习模型数学表达式里面的参数θ。