独立同分布的大样本OLS回归

已注销
539 阅读3分钟

本文将把OLS回归，从小样本推广到大样本的情形。关于小样本OLS回归，可见《小样本OLS回归的框架》和《小样本OLS回归梳理》。

尽管在大样本下，假设、推导、结论都与在小样本情形下不同，但总体的思路还是一样的：

  • 进行点估计，再研究估计量的性质；
  • 构造统计量，在大样本下推导其渐近分布，并进行假设检验。

本文考虑大样本情形中最简单的情况：独立同分布的随机样本。

1 记号与假设

由于可能会考虑到时间序列的情形，因此这里对于单个样本的下标采用tt，不再用ii。记Q=E(xtxt′)Q=\text{E}(x_t x_t')，V=Var(xtεt)V=\text{Var}(x_t\varepsilon_t)，其他记号与小样本情形下一样。

  • 假设1 独立同分布：{xt′,yt}′\{x_t',y_t\}'，t=1,…,Nt=1,\ldots,N是可观测的独立同分布的随机样本；
  • 假设2 线性性：yt=xt′β+εty_t=x_t'\beta+\varepsilon_t，可写作矩阵形式y=Xβ+εy=X\beta+\varepsilon；
  • 假设3 模型正确设定：E(εt∣xt)=0\text{E}(\varepsilon_t|x_t)=0且E(εt2)=σ2<∞\text{E}(\varepsilon_t^2)=\sigma^2<\infty；
  • 假设4 非奇异性：K×KK\times K矩阵QQ是对称、有限、非奇异的；
  • 假设5：K×KK\times K矩阵VV是对称、有限、正定的；
  • 假设6 条件同方差：E(εt2∣xt)=σ2\text{E}(\varepsilon_t^2|x_t)=\sigma^2。

由假设1与假设3，可推出E(εt∣X)=0\text{E}(\varepsilon_t|X)=0，即满足了严格外生性。另外，由于有假设3的保证，V=Var(xtεt)=E(xtxt′εt2)V=\text{Var}(x_t\varepsilon_t)=\text{E}(x_t x_t' \varepsilon^2_t)。

可以看到，在大样本下，不需要对扰动项作出正态分布的假设。而这里的独立同分布假设，也保证了扰动项无自相关，因此，在后续的推导中，只需要考虑假设6是否满足即可。若满足假设6，那么假设5可由假设4保证，若不满足假设6即存在条件异方差，可以用E(εt4)<∞\text{E}(\varepsilon_t^4)<\infty和E(xtk4)<∞\text{E}(x_{tk}^4)<\infty联合保证假设5的矩条件。在推导后续结论时，一般要对是否满足假设6做分类讨论。

2 一些定理

定理1 独立同分布随机样本的弱大数定律：假设{Zt}t=1n\{Z_t\}_{t=1}^n为独立同分布随机样本，E(Zt)=μ\text{E}(Z_t)=\mu且E(∣Zt∣)<∞\text{E}(\vert Z_t\vert)<\infty，定义Zˉn=n−1∑t=1nZt\bar Z_n=n^{-1}\sum_{t=1}^{n}Z_t，则当n→∞n\to \infty时，有Zˉn→pμ\bar{Z}_n \xrightarrow{p}\mu。

定理2 独立同分布随机样本的多元中心极限定理：若{Zt}t=1n\{Z_t\}_{t=1}^n为独立同分布随机样本，E(Zt)=0\text{E}(Z_t)=0且Var(Zt)=V\text{Var}(Z_t)=V为有限、对称、正定的矩阵。定义Zˉn=n−1∑t=1nZt\bar{Z}_n=n^{-1}\sum_{t=1}^{n} Z_t，则当n→∞n\to\infty时，有 nZˉn→dN(0,V)\sqrt{n}\bar{Z}_n\xrightarrow{d}\mathcal{N}(0,V)

定理3 依概率收敛的连续性：若当n→∞n\to\infty时，An→pAA_n\xrightarrow{p}A，Bn→pBB_n\xrightarrow{p}B，且g(⋅)g(\cdot)和f(⋅)f(\cdot)都是连续函数，则

g(An)+h(Bn)→pg(A)+h(B)g(An)h(Bn)→pg(A)h(B)\begin{aligned} g(A_n)+h(B_n)&\xrightarrow{p}g(A)+h(B)\\ g(A_n)h(B_n)&\xrightarrow{p}g(A)h(B) \end{aligned}

定理4 Slutsky定理：若Zn→dZZ_n\xrightarrow{d}Z，an→paa_n\xrightarrow{p}a且bn→pbb_n\xrightarrow{p}b，其中aa和bb是常数，则当n→∞n\to\infty时有an+bnZn→da+bZa_n+b_nZ_n \xrightarrow{d}a+bZ。

3 β^\hat\beta的性质

β\beta的点估计与小样本情形一样：β^=(X′X)−1X′y\hat\beta=(X'X)^{-1}X'y。在后续推导中，主要用到的是β^\hat\beta与β\beta之差，β^−β=(X′X)−1X′ε\hat\beta-\beta=(X'X)^{-1}X'\varepsilon。

为方便地使用大数定律和中心极限定理，可将它改写为β^−β=(1NX′X)−1(1NX′ε)\hat\beta-\beta=(\dfrac{1}{N}X'X)^{-1}(\dfrac{1}{N}X'\varepsilon)。若将矩阵形式展开，上式就变为

β^−β=(1N∑t=1Nxtxt′)−1(1N∑t=1Nxtεt)\hat\beta-\beta=(\dfrac{1}{N}\sum_{t=1}^{N}x_t x_t')^{-1}(\dfrac{1}{N}\sum_{t=1}^{N}x_t\varepsilon_t)

其中1N∑t=1Nxtxt′=1NXX′\dfrac{1}{N}\sum_{t=1}^{N}x_t x_t'=\dfrac{1}{N}XX'其实就是QQ的样本矩形式，记为Q^\hat Q。由大数定律，Q^→pQ\hat Q\xrightarrow{p}Q，而矩阵求逆操作可视为连续函数，因此有Q^−1→pQ−1\hat {Q}^{-1}\xrightarrow{p}Q^{-1}。

同样利用大数定律和假设3，可得1N∑t=1Nxtεt→pE(xtεt)=0\dfrac{1}{N}\sum_{t=1}^{N}x_t\varepsilon_t \xrightarrow{p} \text{E}(x_t\varepsilon_t)=0。再由定理3，可知β^−β→p0\hat\beta-\beta\xrightarrow{p}0。这就是估计量β^\hat\beta的一致性。

4 β^\hat\beta的渐近分布及假设检验

4.1 β^\hat\beta的渐近分布

由中心极限定理可得

N⋅1N∑t=1Nxtεt→dN(0,V)\sqrt{N}\cdot\dfrac{1}{N}\sum_{t=1}^{N}x_t\varepsilon_t\xrightarrow{d}\mathcal{N}(0,V)

因此

N(β^−β)→dN(0,Q−1VQ−1)\sqrt{N}(\hat\beta-\beta)\xrightarrow{d}\mathcal{N}(0,Q^{-1}VQ^{-1})

它的渐近分布的方差又称为渐近方差，记为Avar(Nβ^)=Q−1VQ−1\text{Avar}(\sqrt{N}\hat\beta)=Q^{-1}VQ^{-1}。

若满足假设6，即在条件同方差下，V=σ2QV=\sigma^2Q，渐近分布就变成了

N(β^−β)→dN(0,σ2Q−1)\sqrt{N}(\hat\beta-\beta)\xrightarrow{d}\mathcal{N}(0,\sigma^2 Q^{-1})

4.2 假设检验

检验零假设H0:Rβ=rH_0: R\beta=r，其中RR为J×KJ\times K矩阵。

4.2.1 条件异方差

若零假设成立，则R(β^−β)=Rβ^−rR(\hat\beta-\beta)=R\hat\beta-r，而左边的渐近分布已经知道了，因此，可构造

N(Rβ^−r)′(RQ−1VQ−1R′)−1N(Rβ^−r)→dχJ2\sqrt{N}(R\hat\beta-r)'(RQ^{-1}VQ^{-1}R')^{-1}\sqrt{N}(R\hat\beta-r)\xrightarrow{d}\chi^2_J

式中的QQ和VV我们还需要进行估计。由前文可知Q^→pQ\hat Q\xrightarrow{p}Q，对于VV，我们同样可其用样本形式估计：

V^=N−1∑t=1Nxtxt′et2=X′D(e)D(e)′XN\begin{aligned} \hat V&=N^{-1}\sum_{t=1}^{N}x_tx_t' e_t^2\\ &=\dfrac{X'D(e)D(e)'X}{N} \end{aligned}

其中D(e)=diag(e1,…,eN)D(e)=\text{diag}(e_1,\ldots,e_N)。

可以证得，V^→pV\hat V\xrightarrow{p}V。证明只需将ete_t写为et=εt−(β^−β)′xte_t=\varepsilon_t-(\hat\beta-\beta)'x_t后代入V^\hat V中，然后逐项推导依概率收敛即可。

最后，我们用Q^\hat Q和V^\hat V进行替换，得：

N(Rβ^−r)′(RQ^−1V^Q^−1R′)−1(Rβ^−r)→dχJ2N(R\hat\beta-r)'(R\hat{Q}^{-1}\hat V\hat{Q}^{-1}R')^{-1}(R\hat\beta-r)\xrightarrow{d}\chi^2_J

当J=1J=1时，χ12\chi^2_1开根号就是标准正态分布，因此可直接构造tt统计量：

N(Rβ^−r)RQ^−1V^Q^−1R′→dN(0,1)\dfrac{\sqrt{N}(R\hat\beta-r)}{\sqrt{R\hat{Q}^{-1}\hat{V}\hat{Q}^{-1}R'}}\xrightarrow{d}\mathcal{N}(0,1)

值得注意的是，在大样本下，tt统计量的tN−Kt_{N-K}分布变成了标准正态分布。

4.2.2 条件同方差

若满足假设6，则V=σ2QV=\sigma^2 Q，代入上一节，有

N(Rβ^−r)′(σ2RQ^−1R′)−1(Rβ^−r)→dχJ2N(R\hat\beta-r)'(\sigma^2 R\hat{Q}^{-1}R')^{-1}(R\hat\beta-r)\xrightarrow{d}\chi^2_J

与小样本情形中遇到的问题一样，由于不知道σ2\sigma^2的值，无法直接计算统计量。因此，可同样用s2s^2代替σ2\sigma^2，这也是一致估计量，即s2→pσ2s^2\xrightarrow{p}\sigma^2。最后可得

N(Rβ^−r)′(s2RQ^−1R′)−1(Rβ^−r)→dχJ2N(R\hat\beta-r)'(s^2 R\hat{Q}^{-1}R')^{-1}(R\hat\beta-r)\xrightarrow{d}\chi^2_J

当J=1J=1时，可得

N(Rβ^−r)s2RQ^−1R′→dN(0,1)\dfrac{\sqrt{N}(R\hat\beta-r)}{\sqrt{s^2 R\hat{Q}^{-1}R'}}\xrightarrow{d}\mathcal{N}(0,1)
avatar
文章
阅读
粉丝