Python实现对数据的ADF检验

1,676 阅读4分钟

作者:江夏

| 知乎:www.zhihu.com/people/1024…

| GitHub:github.com/JiangXia-10…

| CSDN:blog.csdn.net/qq_4115394…

| 掘金:juejin.cn/user/651387…

| 公众号:1024笔记

本文一共1568字,阅读时长9分钟

之前帮朋友做一个python项目,对一组的excel数据进行数据预警,如果数据异常就进行预警,通知开发人员进行处理,这里对数据的处理是进行adf检验,判断其是否数据异常,这篇文章就介绍python如何读取excel数据并对其进行adf检验。

在这里先介绍下什么是ADF检验。

在使用很多时间序列模型的时候,如 ARMA、ARIMA,都会要求时间序列是平稳的,所以一般在研究一段时间序列的时候,第一步都需要进行平稳性检验,除了用肉眼检测的方法,另外比较常用的严格的统计检验方法就是ADF检验,也叫做单位根检验。

ADF检验全称是 Augmented Dickey-Fuller test,顾名思义,ADF是 Dickey-Fuller检验的增广形式。DF检验只能应用于一阶情况,当序列存在高阶的滞后相关时,可以使用ADF检验,所以说ADF是对DF检验的扩展。

ADF检验就是判断序列是否存在单位根:如果序列平稳,就不存在单位根;否则,就会存在单位根。

所以,ADF检验的 H0 假设就是存在单位根,如果得到的显著性检验统计量小于三个置信度(10%,5%,1%),则对应有(90%,95,99%)的把握来拒绝原假设。

检验的对象叫做单位根。当一个自回归过程中:

如果滞后项系数b为1,就称为单位根。当单位根存在时,自变量和因变量之间的关系具有欺骗性,因为残差序列的任何误差都不会随着样本量(即时期数)增大而衰减,也就是说模型中的残差的影响是永久的。这种回归又称作伪回归。如果单位根存在,这个过程就是一个随机漫步(random walk)。

在python中可以使用statsmodels 模块进行adf检验,这个模块提供了很多统计模型。

其使用方法如下:

首先需要导入adfuller函数

from statsmodels.tsa.stattools import adfuller

这里说明下adfuller函数的参数意义:

x:一维的数据序列。

maxlag:最大滞后数目。

regression:回归中的包含项(c:只有常数项,默认;ct:常数项和趋势项;ctt:常数项,线性二次项;nc:没有常数项和趋势项)

autolag:自动选择滞后数目(AIC:赤池信息准则,默认;BIC:贝叶斯信息准则;t-stat:基于maxlag,从maxlag开始并删除一个滞后直到最后一个滞后长度基于 t-statistic 显著性小于5%为止;None:使用maxlag指定的滞后)

store:True  False,默认。

regresults:True 完整的回归结果将返回。False,默认。

另外返回值意义为:

adf:Test statistic,T检验,假设检验值。

pvalue:假设检验结果。

usedlag:使用的滞后阶数。

nobs:用于ADF回归和计算临界值用到的观测值数目。

icbest:如果autolag不是None的话,返回最大的信息准则值。

resstore:将结果合并为一个dummy。

以上都是对其基本概念的介绍,接下来就上代码:

这里excel的样例数据如下:

图片

import xlrd
import pandas as pd
import matplotlib.pyplot as plt
from statsmodels.graphics.tsaplots import plot_acf
from statsmodels.tsa.stattools import adfuller
import pandas as pd
import numpy as np
import datetime 

endtime = datetime.datetime.now()
starttime = datetime.datetime.now()-datetime.timedelta(minutes=5)
x_data=[]
y_data=[]
data = xlrd.open_workbook(r'C:\Users\Jiang\Desktop\test.xlsx')
table = data.sheets()[0]
cap = table.col_values(2)
cap1 = table.col_values(0)
for i in range(1,len(cap)):
    x_data.append(cap1[i])
    y_data.append(cap[i])

adf_seq = np.array(y_data)
dftest = adfuller(adf_seq,autolag='AIC')
if dftest[1]>0.05:
    print(starttime)
    print(endtime)
    print(dftest)
    print("当前接通率不平稳")
else:
    print(dftest[1])
    print(starttime)
    print(endtime)
    print(dftest)
    print("当前接通率平稳")

#画折线图
#用来正常显示中文标签
plt.rcParams['font.sans-serif']=['SimHei'] 
plt.plot(x_data, y_data, 'g-s')
plt.title('接通率')
plt.legend()

plt.xlabel('id')
plt.ylabel('接通率')
plt.show()

折线图结果:

图片

ADF检验结果

图片

数据结果说明:

第一个值:表示Test Statistic , 即T值,表示T统计量

第二个值:p-value,即p值,表示T统计量对应的概率值

第三个值:Lags Used,即表示延迟

第四个值:Number of Observations Used,即表示测试的次数

大括号中的值,分别表示1%, 5%, 10% 的三个level。

可以看到p-value的值大于5%,所以可以认为该数据是不平稳的。

这里的5%是常用的阈值,也可以根据自己的实际需求进行设定。

以上就是通过python对数据进行adf根检验的例子。这里主要涉及到了如果读取excel数据并进行处理,另外核心就是使用statsmodels 的adfuller函数进行adf根检验。

另外所有实战文章的源码都会同步至github,有需要的欢迎下载使用。

最后如果觉得本文写得不错,就点下赞和再看推荐给更多的人呗。欢迎关注公众号:1024笔记,免费获取海量学习资源(涵盖视频、源码、文档)!

相关推荐: