一、基本定义
给定由d个属性描述的示例x = (x1;x2;…;xd)，其中xi是x的第i个属性上的取值，线性模型(linear model)是一个线性组合来进行预测的函数，即：
向量形式
线性模型形式简单且易于建模。
二、线性回归
线性回归形式
给定数据集D = {(x1,y1),(x2,y2),…,(xm,ym)}，其中xi = (xi1;xi1;…;xid)，线性回归试图学得一个线性模型以尽可能准确地预测实值输出标记。即线性回归试图学得：
均方误差
可见关键在于确定w和b，也就是衡量f(x)与y之间的差别。均方误差是回归任务中最常用的性能度量，因此我们可试图让均方误差最小化，即：
基于均方误差最小化求解模型的方法被称为最小二乘法(least square method)，在线性回归中，最小二乘法就是试图找到一条直线，使所有样本到直线上的欧式距离之和最小。
最小二乘参数估计
求解w和b使得上式最小化的过程，被称为线性回归模型的最小二乘参数估计(parameter estimation)。我们可将上式（记为E(w,b))分别对w和b求导，得到：
即可得到w和b的最优解的解。
多元线性回归
当问题的情形为多元线性回归的时候。
此处我们依然可以用最小二乘法来求解，不同的是我们把w和b吸收入向量形式定义为w^ ，把数据集D表示为一个m×(d+1)大小的矩阵X，每行对应一个示例，则有如下：
对数几率回归
当面对分类任务时，只需找一个单调可微函数将分类任务的真实标记y与线性回归模型的预测值联系起来。 例如二分类任务，输出标记为y∈{0,1}，而线性回归模型产生的预测值z = wTx+b是实值，故需将z转换为0或1
四、线性判别分析
线性判别分析（Linear Discriminant Analysis，LDA）是一种有监督的降维方法。
基本原理
1. 目标是找到一个投影方向，使得不同类别在该方向上的投影尽可能分开，同时同一类别内的样本在该方向上的投影尽可能紧凑。 2. 通过最大化类间散度与类内散度的比值来确定最佳投影方向。
主要步骤
1. 计算每个类别的均值向量。 2. 计算总体均值向量。 3. 计算类内散度矩阵和类间散度矩阵。 4. 通过求解广义特征值问题，得到投影矩阵。 5. 将原始数据投影到低维空间。
应用场景
1. 模式识别：如人脸识别、手写数字识别等。 2. 数据可视化：将高维数据投影到二维或三维空间，以便更好地观察数据的分布。 3. 分类问题：可作为分类器的预处理步骤，提高分类性能。
优点
1. 简单直观，易于理解和实现。 2. 在降维的同时考虑了类别信息，有助于提高分类的准确性。
缺点
1. 要求数据满足正态分布等假设条件，实际应用中可能不满足。 2. 对于小样本问题，可能会出现奇异矩阵等问题。
