回归分析学习笔记（一）变量的相关性并不代表变量之间存在因果关系，变量之间的因果模式还需要其他分析加以验证，但是对变量进行

simple linear regression 简单线性回归

linear regression with one predictor variable 单预测变量线性回归

relations between variables 变量关系

函数关系 $Y=f(X)$
统计关系 $Y=f(X)+\varepsilon$

regression modes and their uses 回归模型及用处

回归模型特征

响应变量随着预测变量变化， $Y$ 的概率分布的均值随着 $X$ 的变化而变化
点落在统计关系曲线附近，对于每一个确定的 $X$ ， $Y$ 有确定的概率分布

回归模型的构建

预测变量的选取
回归关系的函数形式
模型的范围

回归模型的目标

描述变量之间的关系
理解变量之间的关系
给定预测变量，预测响应变量

回归模型的用处

描述
控制
预测

回归与因果关系

变量的相关性并不代表变量之间存在因果关系，变量之间的因果模式还需要其他分析加以验证，但是对变量进行回归分析是研究变量之间因果关系的必要步骤。

simple linear regression model with distribution of error terms unspecified 简单线性模型包含未知分布的误差项

Y_i=\beta_0+\beta_1X_i+\varepsilon_i,i=1,2,...,n

$Y_i$ ：响应变量

$X_i$ ：预测变量

$\varepsilon_i$ ：随机误差项， $E(\varepsilon_i)=0,Var(\varepsilon_i)=\sigma^2$ ，误差之间不相关

$\beta_0,\beta_1,\sigma^2$ ：未知参数(常数)

E\{Y_i\}=E\{\beta_0+\beta_1X_i+\varepsilon_i\}=\beta+\beta_1X_i+E\{\varepsilon_i\}=\beta_0+\beta_1X_i\\ Var\{Y_i\}=Var\{\beta_0+\beta_1X_i+\varepsilon_i\}=Var\{\epsilon_i\}=\sigma^2\\ cov\{Y_i,Y_j\}=cov\{\beta_0+\beta_1X_i+\varepsilon_i,\beta_0+\beta_1X_j+\varepsilon_j\}=cov\{\varepsilon_i,\varepsilon_j\}=0\\

overview of steps in regression analysis 回归分析步骤回顾

探索性分析
建立一个或多个探索性回归模型
修正回归模型或者建立新的方法
选择最合适的一个
根据回归模型进行推理

estimation of regression function 回归函数的估计

最小二乘法

选择合适的 $b_0,b_1$ 作为 $\beta_0,\beta_1$ 的估计值，使得每个 $Y_i,\beta_0+\beta_1X_i$ 尽可能地近，使得 $Q=\sum\limits_{i=1}^{n}\varepsilon_i^2=\sum\limits_{i=1}^n(Y_i-\beta_0-\beta_1X_i)^2$ 最小

$b_0,b_1$ 计算过程

令

\frac{\partial Q}{\partial \beta_0}=2\sum\limits_{i=1}^{n}(Y_i-\beta_0-\beta_1X_i)(-1)=0\\ \frac{\partial Q}{\partial \beta_1}=2\sum\limits_{i=1}^{n}(Y_i-\beta_0-\beta_1X_i)(-X_i)=0

得

\sum\limits_{i=1}^nY_i=nb_0+b_1\sum\limits_{i=1}^{n}X_i\\ \sum\limits_{i=1}^nX_iY_i=b_0\sum\limits_{i=1}^nX_i+b_1\sum\limits_{i=1}^{n}X_i^2

整理得

b_1=\frac{\sum\limits_{i=1}^n(X_i-\bar{X})(Y_i-\bar{Y})}{\sum\limits_{i=1}^n(X_i-\bar{X})^2}=\frac{SS_{XY}}{SS_{XX}}\\ b_0=\bar{Y}-b_1\bar{X}

可以得到拟合曲线穿过 $(\bar{X},\bar{Y})$

一些概念

真实回归曲线： $E(Y)=\beta_0+\beta_1X$
拟合回归曲线： $\hat{Y}=b_0+b_1X$
逐项残差： $e_i=Y_i-\hat{Y_i}$
逐项误差： $\varepsilon_i=Y_i-E(Y_i)$
残差平方和： $SSE=\sum\limits_{i=1}^ne_i^2=\sum\limits_{i=1}^n(Y_i-\hat{Y}_i)^2$

拟合回归曲线的性质

$\sum\limits_{i=1}^ne_i=0$
$\sum\limits_{i=1}^ne_i^2$ 最小
$\sum\limits_{i=1}^nY_i=\sum\limits_{i=1}^n\hat{Y}$
$\sum\limits_{i=1}^nX_ie_i=0$
$\sum\limits_{i=1}^n\hat{Y}_ie_i=0$

estimation of error terms variance $\sigma^2$ 误差的方差的估计

误差的方差未知，使用残差估计误差的方差

MSE 均方误差使用残差的均方作为误差的方差的估计 $s^2=\frac{1}{n-2}\sum\limits_{i=1}^ne_i^2=\frac{SSE}{n-2}=MSE$
估计量的性质 $E(MSE)=\sigma^2$ 最小二乘估计 $b_0,b_1$ 是 ${Y_i}$ 的线性组合最小二乘估计 $b_0,b_1$ 是 $\beta_0,\beta_1$ 的BLUE(best linear unbiased estimators)

normal error regression model 正态误差回归模型

$Y_i=\beta_0+\beta_1X_i+\varepsilon_i,i=1,2,...,n$

$\varepsilon_i$ 独立同分布且 $\varepsilon_i\sim N(0,\sigma^2)$ ，其他条件与之前相同

则 $Y_i\sim N(\beta_0+\beta_1X_i,\sigma^2),\{Y_i,i=1,2,...,n\}$ 独立

f(y_i)=f_i=\frac{1}{\sqrt{2\pi}\sigma}\exp\bigg\{-\frac{(y_i-(\beta_0+\beta_1X_i))^2}{2\sigma^2}\bigg\},i=1,...,n

使用极大似然估计方法对分布的参数进行估计，可以得到

\hat{\beta_1}=b_1=\frac{SS_{XY}}{SS_{XX}}\\ \hat{\beta_0}=b_0=\bar{Y}-\hat{\beta}_1\bar{X}\\ \hat{\sigma}^2=\frac{n-2}{n}MSE

参数 $\beta_0,\beta_1$ 的MLEs和LSEs相同，是 $\{Y_i\}$ 的线性组合
参数 $\beta_0,\beta_1$ 的MLEs是BLUEs且服从正态分布
参数 $\sigma^2$ 的MLE是有偏估计量 $\frac{SSE}{\sigma^2}\sim\chi^2(n-2),E(\hat{\sigma}^2)=\frac{n-2}{n}\sigma^2\to\sigma^2$
$(\hat{\beta_0},\hat{\beta_1},\bar{Y}),\hat{\sigma}^2$ 独立

参考文献：Applied Linear Statistical Models (Fifth Edition), Michael H. Kutner, Christopher J. Nachtsheim, John Neter, William Li.

回归分析学习笔记（一）