Python高性能的数据结构和数据分析工具—pandas

1,034 阅读2分钟

pandas 是什么?有什么用?

pandas 是一个开放源码、BSD许可的库,为Python编程语言提供高性能、易于使用的数据结构和数据分析工具。

pandas 怎么用?

首先,我们想要用一个第三方提供的库时,我们需要导入我们的项目中,这里我们导入 pandas 和 numpy (numpy 是 Python 语言的一个扩展程序库,支持大量的维度数组与矩阵运算,此外也针对数组运算提供大量的数学函数库)。

import numpy as np
import pandas as pd

pandas 的主要数据结构分为 Series 和 DataFrame。
Series:它是单列数据,有点像数组,数据是一维的。
DataFrame:可以将它想象成一个关系型数据表格,数据是二维的。

创建 Series 对象:

s = pd.Series([1, 3, 5, np.nan, 6, 8])
s

用 NumPy 数组创建 DataFrame 对象,并用数组的 datetime 作为索引:

dates = pd.date_range('20130101', periods=6)
df = pd.DataFrame(np.random.randn(6, 4), index=dates, columns=list('ABCD'))
df

用 dict 对象创建 DataFrame 对象:

df2 = pd.DataFrame({'A': 1.,
                    'B': pd.Timestamp('20130102'),
                    'C': pd.Series(1, index=list(range(4)), dtype='float32'),
                    'D': np.array([3] * 4, dtype='int32'),
                    'E': pd.Categorical(["test", "train", "test", "train"]),
                    'F': 'foo'})
fd2

显示数据

# 显示 df 的前 5 条数据
df.head()
# 显示 df 的后 3 条数据
df.tail(3)
# 显示 df 的索引
df.index
# 显示 df 所有列
df.columns

获取部分数据

# 获取 A 列的数据
df['A']
# 获取下标为 0,1,2 的数据
df[0:3]
# 获取时间段的数据
df['20130102':'20130104']

根据标签获取数据

df.loc[:, ['A', 'B']]
df.loc['20130102':'20130104', ['A', 'B']]
df.loc['20130102', ['A', 'B']]

根据下标获取数据

df.iloc[3]
df.iloc[3:5, 0:2]
df.iloc[[1, 2, 4], [0, 2]]

添加一列新数据 F

s1 = pd.Series([1, 2, 3, 4, 5, 6], index=pd.date_range('20130102', periods=6))
df['F'] = s1

更复杂的一些操作,可以使用 apply 方法,传入一个 lambda 函数

df.apply(lambda x: x.max() - x.min())

操作 CSV 文件

# 把 df 中的数据写入 foo.csv 文件中
df.to_csv('foo.csv')
# 读取 foo.csv 文件中的数据
pd.read_csv('foo.csv')

操作 Excel 文件

# 把 df 中的数据写入 foo.xlsx 文件中
df.to_excel('foo.xlsx', sheet_name='Sheet1')
# 读取 foo.xlsx 文件中的数据
pd.read_excel('foo.xlsx', 'Sheet1', index_col=None, na_values=['NA'])

在这篇文章中,我们介绍了 pandas 处理数据的一些基本使用方法。有兴趣的同学可以查看 pandas 官方教程,里面有关于 pandas库 的所有 API,点击查看官网更多API。我们在后面实际操作中,在介绍一些常用的 API。

偷偷告诉大家一个功能强大的机器学习网页运行器,那就是 Google 的一个机器学习实验项目,不需要安装任何东西,使用非常简单。
地址:colab.research.google.com

PS:
清山绿水始于尘,博学多识贵于勤。
我有酒,你有故事吗?
微信公众号:「清尘闲聊」。
欢迎一起谈天说地,聊代码。