时间序列分析公式总结(本文已参与「新人创作礼」活动，一起开启掘金创作之路)

zerofor
178 阅读3分钟

本文已参与「新人创作礼」活动，一起开启掘金创作之路!

一、时间序列预处理

1、平稳时间序列的统计特征

1.1-均值

E(xt)=μt  ,  ∀t∈TE(x_t)=\mu_t~~,~~\forall t \in T

1.2-方差

DXt=γ(t,t)=γ(0),∀t∈TDX_t=\gamma(t,t)=\gamma(0),\forall t \in T

1.3-延迟k自协方差函数

γ(k)=γ(t,t+k)\gamma(k)=\gamma(t,t+k)

估计值：

γ^(0)=∑t=1n(xt−x‾)2n−1\hat \gamma(0)=\frac{\sum_{t=1}^{n}{(x_t-\overline x)^2}}{n-1}

1.4-延迟k自相关函数

ρk=γ(t,t+k)DXt⋅DXt+k=γ(k)σx2=γ(k)γ(0)\rho_k=\frac{\gamma(t,t+k)}{\sqrt{DX_t·DX_{t+k}}}=\frac{\gamma(k)}{\sigma_x^2}=\frac{\gamma(k)}{\gamma(0)}

当k≪nk\ll n时：

ρ^k≈∑t=1n−k(xt−x‾)(xt+k−x‾)∑t=1n(xt−x‾)2  ,  ∀0≤k≤n\hat \rho_k \approx \frac{\sum_{t=1}^{n-k}{(x_t-\overline x)(x_{t+k}-\overline x)}}{\sum_{t=1}^n(x_t-\overline x)^2}~~,~~\forall 0 \le k \le n

2、平稳性检验

2.1-图检验

（1）时序图

在一个常数附近随机波动，而且波动的范围有界，无明显趋势及周期特征

（2）自相关图

2倍标准差公式

  • 如果样本自相关系数和样本偏自相关系数在最初的阶明显大于2倍标准差，而后几乎95%的系数都落在2倍标准差的范围内，且非零系数衰减为小值波动的过程非常突然，通常视为k阶截尾；
  • 如果有超过5%的样本相关系数大于2倍标准差，或者非零系数衰减为小值波动的过程比较缓慢或连续，通常视为拖尾。

（3）偏自相关图

2.2-统计检验

（1）单位根检验

  • DF检验
  • ADF检验
  • PP检验

（2）平稳域检验

  • 见AR模型详解

3、纯随机性检验(白噪声检验)

LB统计量

LB=n(n+2)∑i=1k(ρ^i2n−i)LB = n(n+2)\sum_{i=1}^{k}{(\cfrac{\hat \rho_i^2}{n-i})}

其中 n为序列观察期数；k为指定延迟期数

  • P值显著大于显著性水平α\alpha，不能拒绝纯随机的假设。

二、AR模型

0-模型

AR(q)

{xt=ϕ0+ϕ1xt−1+...+ϕpxt−p+εtϕp≠0E(εt)=0,Var(εt)=σε2,E(εtεs)=0,s≠tE(xsεt)=0,∀s<t\begin{cases} x_t=\phi_0+\phi_1x_{t-1}+...+\phi_px_{t-p}+\varepsilon_t \\ \phi_p \neq 0\\ E(\varepsilon_t)=0,Var(\varepsilon_t)=\sigma_\varepsilon^2,E(\varepsilon_t\varepsilon_s)=0,s \neq t \\ E(x_s\varepsilon_t)=0,\forall s \lt t \end{cases}

中心化AR(q)

xt=ϕ1xt−1+...+ϕpxt−p+εtx_t=\phi_1x_{t-1}+...+\phi_px_{t-p}+\varepsilon_t

引入延迟算子B

xt=ϕ1xt−1+...+ϕpxt−p+εt=ϕ1Bxt+...+ϕpBpxt+εt=Φ(B)εtx_t=\phi_1x_{t-1}+...+\phi_px_{t-p}+\varepsilon_t \\ =\phi_1Bx_t+...+\phi_pB^px_t+\varepsilon_t\\ =\Phi(B)\varepsilon_t

得到q阶自回归系数多项式：

Φ(B)=1−ϕ1B−ϕ2B2−...−ϕpBp\Phi(B)=1-\phi_1B-\phi_2B^2-...-\phi_pB^p

1-均值

μ=ϕ01−ϕ1−...−ϕp\mu=\frac{\phi_0}{1-\phi_1-...-\phi_p}

2-Green函数

{G0=1Gj=∑k=1jϕk′Gj−k\left \{ \begin{array}{c} G_0=1 \\ G_j=\sum_{k=1}^{j}{\phi_k'G_{j-k}} \end{array} \right.

其中：

ϕk′={ϕk,k≤p0,k>p\phi_k' =\begin{cases} \phi_k, & k\le p \\ 0, & k\gt p \end{cases}

Green推导公式过程

xt=εtΦ(B)=G(B)εtx_t=\frac{\varepsilon_t}{\Phi\left(B\right)}=G(B)\varepsilon_t
Φ(B)G(B)εt=εt\Phi\left(B\right)G\left(B\right)\varepsilon_t=\varepsilon_t
(1−∑k=1p(ϕkBk))(∑j=0∞(GjBj))εt=εt\left(1-\sum_{k=1}^{p}\left(\phi_kB^k\right)\right)\left(\sum_{j=0}^{\infty}\left(G_jB^j\right)\right)\varepsilon_t=\varepsilon_t
(∑j=0∞GjBj−∑k=1p∑j=0∞ϕkBkGjBj)εt=εt\left(\sum_{j=0}^{\infty}{G_jB^j}-\sum_{k=1}^{p}\sum_{j=0}^{\infty}{\phi_kB^kG_jB^j}\right)\varepsilon_t=\varepsilon_t
(G0+∑j=1∞(Gj−∑k=1jϕk′Gj−k)Bj)εt=εt\left(G_0+\sum_{j=1}^{\infty}\left(G_j-\sum_{k=1}^{j}{{\phi_k}^\prime G_{j-k}}\right)B_j\right)\varepsilon_t=\varepsilon_t

3-方差

Var(xt)=∑j=0∞Gj2Var(εt−j)=∑j=0∞Gj2σε2Var(x_t)=\sum_{j=0}^{\infty}{G_j^2Var(\varepsilon_{t-j})}=\sum_{j=0}^{\infty}{G_j^2\sigma_\varepsilon^2}

或者

Var(xt)=γ0Var(x_t)=\gamma_0

4-延迟k协方差函数

AR(1)

γk=ϕ1kσε21−ϕ12\gamma_k=\phi_1^k\frac{\sigma_\varepsilon^2}{1-\phi_1^2}

AR(2)

{γ0=1−ϕ2(1+ϕ2)(1−ϕ1−ϕ2)(1+ϕ1−ϕ2)σε2γ1=ϕ11−ϕ2γ0γk=ϕ1γk−1+ϕ2γk−2\left \{ \begin{array}{c} \gamma_0=\frac{1-\phi_2}{(1+\phi_2)(1-\phi_1-\phi_2)(1+\phi_1-\phi_2)}{\sigma_\varepsilon^2} \\ \gamma_1=\frac{\phi_1}{1-\phi_2}{\gamma_0} \\ \gamma_k=\phi_1\gamma_{k-1}+\phi_2\gamma_{k-2} \end{array} \right.

5-延迟k自相关系数

AR(1)

ρk=γkγ0=ϕ1k\rho_k=\frac{\gamma_k}{\gamma_0}=\phi_1^k

AR(2)

{ρ0=γ0γ0=1ρ1=γ1γ0=ϕ11−ϕ2ρk=γkγ0=ϕ1ρk−1+ϕ2ρk−2\left \{ \begin{array}{c} \rho_0=\frac{\gamma_0}{\gamma_0}=1\\ \rho_1=\frac{\gamma_1}{\gamma_0}=\frac{\phi_1}{1-\phi_2}\\ \rho_k=\frac{\gamma_k}{\gamma_0}=\phi_1\rho_{k-1}+\phi_2\rho_{k-2} \end{array} \right.

6-延迟k偏自相关系数

AR(1)

{ϕ11=ρ1ρ0ϕkk=0,∀k>1\left \{ \begin{array}{c} \phi_{11}=\frac{\rho_1}{\rho_0} \\ \phi_{kk}=0,\forall k\gt 1 \end{array} \right.

AR(2)

{ϕ11=ρ1ρ0=ϕ11−ϕ2ϕ22=ϕ2ϕkk=0,∀k>2\left \{ \begin{array}{c} \phi_{11}=\frac{\rho_1}{\rho_0}=\frac{\phi_1}{1-\phi_2} \\ \phi_{22}=\phi_2\\ \phi_{kk}=0,\forall k\gt 2 \end{array} \right.

7-AR模型平稳性判别(特征根+平稳域)

AR(1)

xt=ϕ1xt−1+εtx_t=\phi_1x_{t-1}+\varepsilon_t

特征方程λ−ϕ1=0\lambda-\phi_1=0 特征根λ=ϕ1\lambda=\phi_1 平稳充要条件：特征根在单位圆内，即∣ϕ1∣<1|\phi_1|<1 平稳域为{ϕ1∣−1<ϕ1<1}\{\phi_1|-1<\phi_1<1\}

AR(2)

xt=ϕ1xt−1+ϕ2xt−2+εtx_t=\phi_1x_{t-1}+\phi_2x_{t-2}+\varepsilon_t

特征方程λ2−ϕ1λ−ϕ2=0\lambda^2-\phi_1\lambda-\phi_2=0 特征根λ1=ϕ1+ϕ12+4ϕ22,λ2=ϕ1−ϕ12+4ϕ22\lambda_1=\frac{\phi_1+\sqrt{\phi_1^2+4\phi_2}}{2},\lambda_2=\frac{\phi_1-\sqrt{\phi_1^2+4\phi_2}}{2} 平稳充要条件：特征根在单位圆内，即∣λ1∣<1且∣λ2∣<1|\lambda_1|<1且|\lambda_2|<1 平稳域为{ϕ1,ϕ2∣∣ϕ2∣<1且ϕ2±ϕ1<1}\{\phi_1,\phi_2||\phi_2|<1且\phi_2\pm\phi_1<1\}

三、MA模型

0-模型

MA(q)

{xt=μ+εt−θ1εt−1−...−θqεt−qθq≠0E(εt)=0,Var(εt)=σε2,E(εtεs)=0,s≠t\begin{cases} x_t=\mu+\varepsilon_t-\theta_1\varepsilon_{t-1}-...-\theta_q\varepsilon_{t-q} \\ \theta_q\ne 0 \\ E(\varepsilon_t)=0,Var(\varepsilon_t)=\sigma_\varepsilon^2,E(\varepsilon_t\varepsilon_s)=0,s \ne t \end{cases}

中心化MA(q)

当μ=0\mu=0时

xt=εt−θ1εt−1−...−θqεt−qx_t=\varepsilon_t-\theta_1\varepsilon_{t-1}-...-\theta_q\varepsilon_{t-q}

引入延迟算子B

xt=εt−θ1εt−1−...−θqεt−q=εt−θ1Bεt−...−θqBqεt=Θ(B)εtx_t=\varepsilon_t-\theta_1\varepsilon_{t-1}-...-\theta_q\varepsilon_{t-q}\\ =\varepsilon_t-\theta_1B\varepsilon_{t}-...-\theta_qB^q\varepsilon_{t}\\ =\Theta(B)\varepsilon_t

得到q阶移动平均系数多项式：

Θ(B)=1−θ1B−θ2B2−...−θqBq\Theta(B)=1-\theta_1B-\theta_2B^2-...-\theta_qB^q

1-均值

E(xt)=μE(x_t)=\mu

2-方差

Var(xt)=(1+θ12+...+θq2)σε2Var(x_t)=(1+\theta_1^2+...+\theta_q^2)\sigma_\varepsilon^2

3-延迟k自协方差函数

  • MA(q)自协方差函数只与滞后阶数k有关，且q阶截尾

MA(q)

γk={(1+θ12+...+θq2)σε2,k=0(−θk+∑i=1q−kθiθk+i)σε2,1≤k≤q0,k>q\gamma_k=\begin{cases} (1+\theta_1^2+...+\theta_q^2)\sigma_\varepsilon^2,k=0 \\ (-\theta_k+\sum_{i=1}^{q-k}{\theta_i\theta_{k+i}})\sigma_\varepsilon^2,1 \le k \le q \\ 0,k \gt q \end{cases}

4-延迟k自相关系数

MA(1)

ρk=γkγ0={1,k=0−θ11+θ12,k=10,k≥2\rho_k=\frac{\gamma_k}{\gamma_0}=\begin{cases} 1,k=0 \\ \frac{-\theta_1}{1+\theta_1^2},k=1 \\ 0,k \ge 2 \end{cases}

MA(2)

ρk=γkγ0={1,k=0−θk+θ1θ21+θ12+θ22,k=1−θ21+θ12+θ22,k=20,k≥3\rho_k=\frac{\gamma_k}{\gamma_0}=\begin{cases} 1,k=0 \\ \frac{-\theta_k+\theta_1\theta_2}{1+\theta_1^2+\theta_2^2},k=1 \\ \frac{-\theta_2}{1+\theta_1^2+\theta_2^2},k=2 \\ 0,k \ge 3 \end{cases}

MA(q)

ρk=γkγ0={1,k=0−θk+∑i=1q−kθiθk+i1+θ12+...+θq2,1≤k≤q0,k>q\rho_k=\frac{\gamma_k}{\gamma_0}=\begin{cases} 1,k=0 \\ \frac{-\theta_k+\sum_{i=1}^{q-k}{\theta_i\theta_{k+i}}}{1+\theta_1^2+...+\theta_q^2},1 \le k \le q \\ 0,k \gt q \end{cases}

5-延迟k偏自相关系数

  • MA(q)模型的延迟k偏自相关系数ϕkk\phi_{kk}拖尾
ϕkk\phi_{kk}

6-验证模型可逆性

已知中心化MA(q)模型为xt=εt−θ1εt−1−...−θqεt−qx_t=\varepsilon_t-\theta_1\varepsilon_{t-1}-...-\theta_q\varepsilon_{t-q}

∴

xt=εt−θ1εt−1−...−θqεt−q=εt−θ1Bεt−...−θqBqεt=Θ(B)εtx_t=\varepsilon_t-\theta_1\varepsilon_{t-1}-...-\theta_q\varepsilon_{t-q} \\ =\varepsilon_t-\theta_1B\varepsilon_{t}-...-\theta_qB^q\varepsilon_{t} \\ =\Theta(B)\varepsilon_t

∴得到移动平均系数多项式Θ(B)=1−θ1B−θ2B2−...−θqBq\Theta(B)=1-\theta_1B-\theta_2B^2-...-\theta_qB^q

设Θ(B)=0\Theta(B)=0的根为λ\lambda ，

∴1−θ1λ−θ2λ2−...−θqλq=01-\theta_1\lambda-\theta_2\lambda^2-...-\theta_q\lambda^q=0

求解得到λ1,λ2,...\lambda_1,\lambda_2,...

当满足∣λ1∣>1且∣λ2∣>1且...|\lambda_1|\gt 1且|\lambda_2|\gt 1且... 时，MA(q)模型可逆。

7-逆函数递推公式

逆函数IjI_j

如果MA(q)xt=εt−θ1εt−1−...−θqεt−qx_t=\varepsilon_t-\theta_1\varepsilon_{t-1}-...-\theta_q\varepsilon_{t-q}可逆，有

{Θ(B)εt=xt,[1]εt=I(B)xt,[2]\begin{cases} \Theta(B)\varepsilon_t=x_t,[1] \\ \varepsilon_t=I(B)x_t,[2] \end{cases}

其中

Θ(B)=1−θ1B−θ2B2−...−θqBq=1−∑i=1qθiBi\Theta(B)=1-\theta_1B-\theta_2B^2-...-\theta_qB^q=1-\sum_{i=1}^{q}{\theta_iB^i}
I(B)=I1+I1B+I2B2+...=∑i=0∞IiBiI(B)=I_1+I_1B+I_2B^2+...=\sum_{i=0}^{\infty}{I_iB^i}

将[2]代入[1]得到Θ(B)I(B)xt=xt\Theta(B)I(B)x_t=x_t,按照待定系数法求得

I0=1Il=∑i=1lθi′Il−iI_0=1 \\ I_l=\sum_{i=1}^{l}{\theta_i'I_{l-i}}

其中

l≥1θi′={θi,   i≤q0,    i>ql \ge 1 \\ \theta_i'=\begin{cases} \theta_i,~~~i \le q \\ 0,~~~~i \gt q \end{cases}

四、ARMA模型

0-模型

ARMA(p,q)

{xt=ϕ0+ϕ1xt−1+...+ϕpxt−p+εt−θ1εt−1−...−θqεt−qϕp≠0 , θq≠0E(εt)=0 , Var(εt)=σε2 , E(εtεs)=0 , s≠tE(xsεt)=0 , ∀s<t\begin{cases} x_t=\phi_0+\phi_1x_{t-1}+...+\phi_px_{t-p}+\varepsilon_t-\theta_1\varepsilon_{t-1}-...-\theta_q\varepsilon_{t-q} \\ \phi_p \neq 0~,~\theta_q\ne 0 \\ E(\varepsilon_t)=0~,~Var(\varepsilon_t)=\sigma_\varepsilon^2~,~E(\varepsilon_t\varepsilon_s)=0~,~s \ne t \\ E(x_s\varepsilon_t)=0~,~\forall s \lt t \end{cases}

中心化ARMA(p,q)

xt=ϕ1xt−1+...+ϕpxt−p+εt−θ1εt−1−...−θqεt−qx_t=\phi_1x_{t-1}+...+\phi_px_{t-p}+\varepsilon_t-\theta_1\varepsilon_{t-1}-...-\theta_q\varepsilon_{t-q}

引入延迟算子B

Φ(B)xt=Θ(B)εt\Phi(B)x_t=\Theta(B)\varepsilon_t

1-均值

E(xt)=ϕ01−ϕ1−...−ϕpE(x_t)=\frac{\phi_0}{1-\phi_1-...-\phi_p}

2-方差

Var(xt)=σε2∑i=0∞Gi2Var(x_t)=\sigma_\varepsilon^2\sum_{i=0}^{\infty}{G_i^2}

3-延迟k自协方差函数

γk=σε2∑i=0∞GiGi+k\gamma_k=\sigma_\varepsilon^2\sum_{i=0}^{\infty}{G_iG_{i+k}}

4-延迟k自相关系数

ρk=γkγ0=∑i=0∞GiGi+k∑i=0∞Gi2\rho_k=\frac{\gamma_k}{\gamma_0}=\frac{\sum_{i=0}^{\infty}{G_iG_{i+k}}}{\sum_{i=0}^{\infty}G_i^2}

5-延迟k偏自相关系数

拖尾

6-比较

模型 ACF PACF
AR(p)←→ARMA(p,0) 拖尾 p阶截尾
MA(q)←→ARMA(0,q) q阶截尾 拖尾
ARMA(p,q) 拖尾 拖尾

7-平稳性与可逆性

ARMA(p,q):

Φ(B)xt=Θ(B)εt\Phi(B)x_t=\Theta(B)\varepsilon_t

平稳条件：Φ(B)=0\Phi(B)=0的根都在单位圆外

可逆条件：Θ(B)=0\Theta(B)=0的根都在单位圆外

  • 当模型平稳且可逆时，它与自相关系数唯一对应

8-传递形式与逆转形式

传递形式

对于一个平稳可逆ARMA(p,q)模型，它的传递形式为：

xt=Θ(B)Φ(B)εt=∑j=0∞Gjεt−jx_t=\frac{\Theta(B)}{\Phi(B)}\varepsilon_t=\sum_{j=0}^{\infty}{G_j\varepsilon_{t-j}}

其中GjG_j为Green函数，通过待定系数法可得它的递推公式：

{G0=1Gk=∑j=1kϕj′Gk−j−θk′,k≥1\begin{cases} G_0=1 \\ G_k=\sum_{j=1}^{k}{\phi_j'G_{k-j}-\theta_k',k \ge 1} \end{cases}

其中

ϕj′={ϕj,1≤j≤p0,j>p        θk′={θk,1≤k≤q0,k>q\phi_j'=\begin{cases} \phi_j,1 \le j \le p \\ 0,j \gt p \end{cases}~~~~~~~~ \theta_k'=\begin{cases} \theta_k,1 \le k \le q \\ 0,k \gt q \end{cases}

逆转形式

对于一个平稳可逆ARMA(p,q)模型，它的逆转形式为：

εt=Φ(B)Θ(B)xt=∑j=0∞Ijxt−j\varepsilon_t=\frac{\Phi(B)}{\Theta(B)}x_t=\sum_{j=0}^{\infty}{I_jx_{t-j}}

其中IjI_j为逆函数，通过待定系数法可得它的递推公式：

{I0=1Ij=∑j=1kθj′Ik−j−ϕk′,k≥1\begin{cases} I_0=1 \\ I_j=\sum_{j=1}^{k}{\theta_j'I_{k-j}-\phi_k',k \ge 1} \end{cases}

其中

ϕj′={ϕj,1≤j≤p0,j>p        θk′={θk,1≤k≤q0,k>q\phi_j'=\begin{cases} \phi_j,1 \le j \le p \\ 0,j \gt p \end{cases}~~~~~~~~ \theta_k'=\begin{cases} \theta_k,1 \le k \le q \\ 0,k \gt q \end{cases}
avatar
文章
阅读
粉丝