作者:江夏
| 知乎:www.zhihu.com/people/1024…
| GitHub:github.com/JiangXia-10…
| CSDN:blog.csdn.net/qq_4115394…
| 公众号:1024笔记
本文一共1568字,阅读时长9分钟
之前帮朋友做一个python项目,对一组的excel数据进行数据预警,如果数据异常就进行预警,通知开发人员进行处理,这里对数据的处理是进行adf检验,判断其是否数据异常,这篇文章就介绍python如何读取excel数据并对其进行adf检验。
在这里先介绍下什么是ADF检验。
在使用很多时间序列模型的时候,如 ARMA、ARIMA,都会要求时间序列是平稳的,所以一般在研究一段时间序列的时候,第一步都需要进行平稳性检验,除了用肉眼检测的方法,另外比较常用的严格的统计检验方法就是ADF检验,也叫做单位根检验。
ADF检验全称是 Augmented Dickey-Fuller test,顾名思义,ADF是 Dickey-Fuller检验的增广形式。DF检验只能应用于一阶情况,当序列存在高阶的滞后相关时,可以使用ADF检验,所以说ADF是对DF检验的扩展。
ADF检验就是判断序列是否存在单位根:如果序列平稳,就不存在单位根;否则,就会存在单位根。
所以,ADF检验的 H0 假设就是存在单位根,如果得到的显著性检验统计量小于三个置信度(10%,5%,1%),则对应有(90%,95,99%)的把握来拒绝原假设。
检验的对象叫做单位根。当一个自回归过程中:
如果滞后项系数b为1,就称为单位根。当单位根存在时,自变量和因变量之间的关系具有欺骗性,因为残差序列的任何误差都不会随着样本量(即时期数)增大而衰减,也就是说模型中的残差的影响是永久的。这种回归又称作伪回归。如果单位根存在,这个过程就是一个随机漫步(random walk)。
在python中可以使用statsmodels 模块进行adf检验,这个模块提供了很多统计模型。
其使用方法如下:
首先需要导入adfuller函数
from statsmodels.tsa.stattools import adfuller
这里说明下adfuller函数的参数意义:
x:一维的数据序列。
maxlag:最大滞后数目。
regression:回归中的包含项(c:只有常数项,默认;ct:常数项和趋势项;ctt:常数项,线性二次项;nc:没有常数项和趋势项)
autolag:自动选择滞后数目(AIC:赤池信息准则,默认;BIC:贝叶斯信息准则;t-stat:基于maxlag,从maxlag开始并删除一个滞后直到最后一个滞后长度基于 t-statistic 显著性小于5%为止;None:使用maxlag指定的滞后)
store:True False,默认。
regresults:True 完整的回归结果将返回。False,默认。
另外返回值意义为:
adf:Test statistic,T检验,假设检验值。
pvalue:假设检验结果。
usedlag:使用的滞后阶数。
nobs:用于ADF回归和计算临界值用到的观测值数目。
icbest:如果autolag不是None的话,返回最大的信息准则值。
resstore:将结果合并为一个dummy。
以上都是对其基本概念的介绍,接下来就上代码:
这里excel的样例数据如下:
import xlrd
import pandas as pd
import matplotlib.pyplot as plt
from statsmodels.graphics.tsaplots import plot_acf
from statsmodels.tsa.stattools import adfuller
import pandas as pd
import numpy as np
import datetime
endtime = datetime.datetime.now()
starttime = datetime.datetime.now()-datetime.timedelta(minutes=5)
x_data=[]
y_data=[]
data = xlrd.open_workbook(r'C:\Users\Jiang\Desktop\test.xlsx')
table = data.sheets()[0]
cap = table.col_values(2)
cap1 = table.col_values(0)
for i in range(1,len(cap)):
x_data.append(cap1[i])
y_data.append(cap[i])
adf_seq = np.array(y_data)
dftest = adfuller(adf_seq,autolag='AIC')
if dftest[1]>0.05:
print(starttime)
print(endtime)
print(dftest)
print("当前接通率不平稳")
else:
print(dftest[1])
print(starttime)
print(endtime)
print(dftest)
print("当前接通率平稳")
#画折线图
#用来正常显示中文标签
plt.rcParams['font.sans-serif']=['SimHei']
plt.plot(x_data, y_data, 'g-s')
plt.title('接通率')
plt.legend()
plt.xlabel('id')
plt.ylabel('接通率')
plt.show()
折线图结果:
ADF检验结果
数据结果说明:
第一个值:表示Test Statistic , 即T值,表示T统计量
第二个值:p-value,即p值,表示T统计量对应的概率值
第三个值:Lags Used,即表示延迟
第四个值:Number of Observations Used,即表示测试的次数
大括号中的值,分别表示1%, 5%, 10% 的三个level。
可以看到p-value的值大于5%,所以可以认为该数据是不平稳的。
这里的5%是常用的阈值,也可以根据自己的实际需求进行设定。
以上就是通过python对数据进行adf根检验的例子。这里主要涉及到了如果读取excel数据并进行处理,另外核心就是使用statsmodels 的adfuller函数进行adf根检验。
另外所有实战文章的源码都会同步至github,有需要的欢迎下载使用。
最后如果觉得本文写得不错,就点下赞和再看推荐给更多的人呗。欢迎关注公众号:1024笔记,免费获取海量学习资源(涵盖视频、源码、文档)!
相关推荐: