Python数据可视化系列之幂律分布

·  阅读 439

1.幂律分布

首先要说的是中心极限定理——在复杂的多因素情况下,只要个体相互独立,集体效果就应该是正态分布。然而实际运用中,尤其是金融中,更多面对的是尖峰胖尾现象,比如下面这幅图描述的是标普500指数的收益率分布,很明显的是,实际的收益率的分布和理想中的正态分布不一致,这就是所谓的尖峰胖尾特征,峰值更高,尾巴部分也拖的更长更厚。正是有了尖峰胖尾,可以想象,有些东西可以超出想象的大,并且出现这个的概率也非常大,这样的陡峭且延长很长的分布就是所谓的幂律分布(两个特征:陡峭,延长很长)。

2.公式推导

幂律分布就是概率密度函数服从幂函数的分布,对幂律分布公式: 2.png

对公式两边同时取以10为底的对数:

令:

c为常数,所以公式变成:

所以对于幂律公式,对X,Y取对数后,在坐标轴上为线性方程。

3.可视化

从图形上来说,幂律分布及其拟合效果: 7.jpg

对X轴与Y轴取以10为底的对数。效果上就是X轴上1与10,与10与100的距离是一样的。 8.png

对XY取双对数后,坐标轴上点可以很好用直线拟合。所以,判定数据是否符合幂律分布,只需要对XY取双对数,判断能否用一个直线很好拟合就行。常见的直线拟合效果评估标准有拟合误差平方和、R平方。

4.代码实现

#!/usr/bin/env python
# -*-coding:utf-8 -*-

import matplotlib.pyplot as plt
import numpy as np
from sklearn import linear_model
from scipy.stats import norm

def DataGenerate():
    X = np.arange(10, 1010, 10)  # 0-1,每隔着0.02一个数据  0处取对数,会时负无穷  生成100个数据点
    noise=norm.rvs(0, size=100, scale=0.2)  # 生成50个正态分布  scale=0.1控制噪声强度
    Y=[]
    for i in range(len(X)):
       Y.append(10.8*pow(X[i],-0.3)+noise[i])  # 得到Y=10.8*x^-0.3+noise

    # plot raw data
    Y=np.array(Y)
    plt.title("Raw data")
    plt.scatter(X, Y,  color='black')
    plt.show()

    X=np.log10(X)  # 对X,Y取双对数
    Y=np.log10(Y)
    return X,Y

def DataFitAndVisualization(X,Y):
    # 模型数据准备
    X_parameter=[]
    Y_parameter=[]
    for single_square_feet ,single_price_value in zip(X,Y):
       X_parameter.append([float(single_square_feet)])
       Y_parameter.append(float(single_price_value))

    # 模型拟合
    regr = linear_model.LinearRegression()
    regr.fit(X_parameter, Y_parameter)
    # 模型结果与得分
    print('Coefficients: \n', regr.coef_,)
    print("Intercept:\n",regr.intercept_)
    # The mean square error
    print("Residual sum of squares: %.8f"
      % np.mean((regr.predict(X_parameter) - Y_parameter) ** 2))  # 残差平方和

    # 可视化
    plt.title("Log Data")
    plt.scatter(X_parameter, Y_parameter,  color='black')
    plt.plot(X_parameter, regr.predict(X_parameter), color='blue',linewidth=3)

    # plt.xticks(())
    # plt.yticks(())
    plt.show()

if __name__=="__main__":
    X,Y=DataGenerate()
    DataFitAndVisualization(X,Y)
    
复制代码

Coefficients: [-0.32608517] Intercept: 1.0956477044386048 Residual sum of squares: 0.00303181

以上就是本篇文章的全部内容了,觉得对你有所帮助不妨点赞、分享、关注一波,欢迎大家在评论区提问、留言,更多学习资料及交流技术问题可以私信我,我会尽全力帮助大家!

分类:
代码人生
标签:
收藏成功!
已添加到「」, 点击更改