平稳时间序列的大样本OLS回归

223 阅读2分钟

有了《独立同分布的大样本OLS回归》的铺垫,现在进一步将OLS推广到平稳时间序列的情况。

思路还是一样:

  • 进行点估计,再研究估计量的性质;
  • 构造统计量,在大样本下推导其渐近分布,并进行假设检验

这里的各种计算与上一篇非常像,需要注意的是大数定律和中心极限定理在这里的使用条件(遍历平稳、鞅差分过程等)与上一篇不同,因此也需要不同的假设。

1 记号与假设

Q=E(xtxt)Q=\text{E}(x_t x_t')V=Var(xtεt)V=\text{Var}(x_t\varepsilon_t)

  • 假设1 遍历平稳性(Ergodic stationary){xt,yt}\{x_t',y_t\}'t=1,,Nt=1,\ldots,N是可观测的遍历平稳过程;
  • 假设2 线性性yt=xtβ+εty_t=x_t'\beta+\varepsilon_t,可写作矩阵形式y=Xβ+εy=X\beta+\varepsilon
  • 假设3 模型正确设定E(εtxt)=0\text{E}(\varepsilon_t|x_t)=0E(εt2)=σ2<\text{E}(\varepsilon_t^2)=\sigma^2<\infty
  • 假设4 非奇异性K×KK\times K矩阵QQ是对称、有限、非奇异的;
  • 假设5 鞅差分:相对于{xsεs,s<t}\{x_s \varepsilon_s, s\lt t\} 生成的σ\sigma-域,{xtεt}\{x_t \varepsilon_t\}为一鞅差分序列,且K×KK\times K矩阵VV是对称、有限、正定的;
  • 假设6 条件同方差E(εt2xt)=σ2\text{E}(\varepsilon_t^2|x_t)=\sigma^2

假设1包含了上一篇中的独立同分布过程。由于不再是在独立同分布假设下,因此严格外生性E(εtX)=0\text{E}(\varepsilon_t|X)=0不一定可以满足。假设3允许xtx_t包含前定变量(predetermined variables)如滞后的因变量yt1y_{t_1}等,另外,由于有假设3的保证,V=Var(xtεt)=E(xtxtεt2)V=\text{Var}(x_t\varepsilon_t)=\text{E}(x_t x_t' \varepsilon^2_t)

2 一些定理

定理1 遍历平稳随机样本的弱大数定律:假设{Zt}t=1n\{Z_t\}_{t=1}^n为遍历平稳过程,E(Zt)=μ\text{E}(Z_t)=\muE(Zt)<\text{E}(\vert Z_t\vert)<\infty,定义Zˉn=n1t=1nZt\bar Z_n=n^{-1}\sum_{t=1}^{n}Z_t,则当nn\to \infty时,有Zˉnpμ\bar{Z}_n \xrightarrow{p}\mu

定理2 遍历平稳鞅差分序列的中心极限定理:若{Zt}t=1n\{Z_t\}_{t=1}^n为遍历平稳鞅差分过程,Var(Zt)=V\text{Var}(Z_t)=V为有限、对称、正定的矩阵。定义Zˉn=n1t=1nZt\bar{Z}_n=n^{-1}\sum_{t=1}^{n} Z_t,则当nn\to\infty时,有 nZˉndN(0,V)\sqrt{n}\bar{Z}_n\xrightarrow{d}\mathcal{N}(0,V)

3 β^\hat\beta的性质

这里的全部内容都与上一篇类似。

和之前一样,β^=(XX)1Xy\hat\beta=(X'X)^{-1}X'yβ^\hat\betaβ\beta之差为β^β=(XX)1Xε\hat\beta-\beta=(X'X)^{-1}X'\varepsilon

使用遍历平稳过程的弱大数定律,有Q^pQ\hat Q\xrightarrow{p}Q,且Q^1pQ1\hat {Q}^{-1}\xrightarrow{p}Q^{-1}

同样有1Nt=1NxtεtpE(xtεt)=0\dfrac{1}{N}\sum_{t=1}^{N}x_t\varepsilon_t \xrightarrow{p} \text{E}(x_t\varepsilon_t)=0(利用了假设3)。由此可得β^βp0\hat\beta-\beta\xrightarrow{p}0。说明在这里,β^\hat\beta依旧是一致的。

4 β^\hat\beta的渐近分布及假设检验

这里的全部内容都与上一篇类似。

4.1 β^\hat\beta的渐近分布

与上一篇类似,可以推出

N(β^β)dN(0,Q1VQ1)\sqrt{N}(\hat\beta-\beta)\xrightarrow{d}\mathcal{N}(0,Q^{-1}VQ^{-1})

它的渐近分布的方差又称为渐近方差,记为Avar(Nβ^)=Q1VQ1\text{Avar}(\sqrt{N}\hat\beta)=Q^{-1}VQ^{-1}

若满足假设6,即在条件同方差下,V=σ2QV=\sigma^2Q,渐近分布就变成了

N(β^β)dN(0,σ2Q1)\sqrt{N}(\hat\beta-\beta)\xrightarrow{d}\mathcal{N}(0,\sigma^2 Q^{-1})

4.2 假设检验

检验零假设H0:Rβ=rH_0: R\beta=r,其中RRJ×KJ\times K矩阵。

4.2.1 条件异方差

若零假设成立,则R(β^β)=Rβ^rR(\hat\beta-\beta)=R\hat\beta-r,而左边的渐近分布已经知道了,因此,可构造

N(Rβ^r)(RQ1VQ1R)1N(Rβ^r)dχJ2\sqrt{N}(R\hat\beta-r)'(RQ^{-1}VQ^{-1}R')^{-1}\sqrt{N}(R\hat\beta-r)\xrightarrow{d}\chi^2_J

式中的QQVV我们还需要进行估计。与上一篇类似,我们有Q^pQ\hat Q\xrightarrow{p}Q,对于VV,我们同样可其用样本形式估计:

V^=N1t=1Nxtxtet2=XD(e)D(e)XN\begin{aligned} \hat V&=N^{-1}\sum_{t=1}^{N}x_tx_t' e_t^2\\ &=\dfrac{X'D(e)D(e)'X}{N} \end{aligned}

其中D(e)=diag(e1,,eN)D(e)=\text{diag}(e_1,\ldots,e_N)

可以证得,V^pV\hat V\xrightarrow{p}V

最后,用Q^\hat QV^\hat V进行替换,得:

N(Rβ^r)(RQ^1V^Q^1R)1(Rβ^r)dχJ2N(R\hat\beta-r)'(R\hat{Q}^{-1}\hat V\hat{Q}^{-1}R')^{-1}(R\hat\beta-r)\xrightarrow{d}\chi^2_J

J=1J=1时,χ12\chi^2_1开根号就是标准正态分布,因此可直接构造tt统计量:

N(Rβ^r)RQ^1V^Q^1RdN(0,1)\dfrac{\sqrt{N}(R\hat\beta-r)}{\sqrt{R\hat{Q}^{-1}\hat{V}\hat{Q}^{-1}R'}}\xrightarrow{d}\mathcal{N}(0,1)

4.2.2 条件同方差

若满足假设6,则V=σ2QV=\sigma^2 Q,代入上一节,有

N(Rβ^r)(σ2RQ^1R)1(Rβ^r)dχJ2N(R\hat\beta-r)'(\sigma^2 R\hat{Q}^{-1}R')^{-1}(R\hat\beta-r)\xrightarrow{d}\chi^2_J

同样用s2s^2代替σ2\sigma^2,它满足s2pσ2s^2\xrightarrow{p}\sigma^2。最后可得

N(Rβ^r)(s2RQ^1R)1(Rβ^r)dχJ2N(R\hat\beta-r)'(s^2 R\hat{Q}^{-1}R')^{-1}(R\hat\beta-r)\xrightarrow{d}\chi^2_J

J=1J=1时,可得

N(Rβ^r)s2RQ^1RdN(0,1)\dfrac{\sqrt{N}(R\hat\beta-r)}{\sqrt{s^2 R\hat{Q}^{-1}R'}}\xrightarrow{d}\mathcal{N}(0,1)