这是我参与11月更文挑战的第25天，活动详情查看：2021最后一次更文挑战
Pandas简介
Pandas是基于NumPy的一个数据处理工具，该工具是为了解决数据分析任务而创建的。Pandas纳入了大量库和一些标准的数据模型，提供了高效地操作大型数据集所需的工具。Pandas提供了大量能使我们快速便捷地处理数据的函数和方法。
Pandas的主要特点
- 使用默认和自定义索引的快速高效的DataFrame对象。
- 用于将数据从不同文件格式加载到内存数据对象的工具。
- 数据对齐和缺失数据的集成处理。
- 重新设置和旋转日期集。
- 大数据集的基于标签的分片，索引和子集。
- 数据结构中的列可以被删除或插入。
- 按数据分组进行聚合和转换。
- 高性能的数据合并和连接。
- 时间序列功能，支持日期范围生成、频率转换、移动窗口统计、移动窗口线性回归、日期位移等时间序列功能。
Pandas数据结构
Pandas包含以下三个建立在Numpy数组上的数据结构 。
| 数据结构 | 维数 | 描述 | 描述 |
|---|---|---|---|
系列(Series) | 1 | 一维同构数组 | 均匀数据、尺寸大小不变、数据的值可变 |
数据帧(DataFrame) | 2 | 大小可变的二维异构表格 | 异构数据、大小可变、数据可变 |
面板(Panel) | 3 | 具有异构数据的三维数据结构 | 异构数据、大小可变、数据可变 |
考虑这些数据结构的最好方法是，较高维数据结构是其较低维数据结构的容器。 例如， DataFrame是Series的容器，Panel是DataFrame的容器。
创建对象
Pandas默认自动生成整数索引
用数组生成Series
s = pd.Series([1, 3, 5, np.nan, 6, 8])
s
运行结果：
0 1.0
1 3.0
2 5.0
3 NaN
4 6.0
5 8.0
dtype: float64
用日期时间索引与NumPy数组生成DataFrame。
dates = pd.date_range('20130101', periods=6)
print(dates)
print("--------------------------------------------")
df = pd.DataFrame(np.random.randn(6, 4), index=dates, columns=list('ABCD'))
print(df)
运行结果：
DatetimeIndex(['2013-01-01', '2013-01-02', '2013-01-03', '2013-01-04', '2013-01-05', '2013-01-06'],
dtype='datetime64[ns]', freq='D')
--------------------------------------------
A B C D
2013-01-01 0.581156 0.927140 0.418510 -0.821204
2013-01-02 0.371722 -0.064795 0.896788 -0.411426
2013-01-03 1.269228 -0.052472 0.502939 1.218583
2013-01-04 -0.305827 1.448368 1.197606 -0.329779
2013-01-05 -1.605675 2.470950 0.475849 -0.261321
2013-01-06 0.869420 0.932919 0.203338 -1.039685
用Series字典对象生成DataFrame
#
df2 = pd.DataFrame({'A': 1.,
'B': pd.Timestamp('20130102'),
'C': pd.Series(1, index=list(range(4)), dtype='float32'),
'D': np.array([3] * 4, dtype='int32'),
'E': pd.Categorical(["test", "train", "test", "train"]),
'F': 'foo'})
print(df2)
print("--------------------------------------------")
# DataFrame 的列有不同数据类型
print(df2.dtypes)
运行结果：
A B C D E F
0 1.0 2013-01-02 1.0 3 test foo
1 1.0 2013-01-02 1.0 3 train foo
2 1.0 2013-01-02 1.0 3 test foo
3 1.0 2013-01-02 1.0 3 train foo
--------------------------------------------
A float64
B datetime64[ns]
C float32
D int32
E category
F object
dtype: object
查看数据
查看DataFrame头部、尾部数据以及索引和列名
# 查看DataFrame头部和尾部数据
print(df.head(2))
print("---------")
print(df.tail(3))
print("---------")
# 查看索引与列名
print(df.index)
print("---------")
print(df.columns)
运行结果：
A B C D
2013-01-01 0.581156 0.927140 0.418510 -0.821204
2013-01-02 0.371722 -0.064795 0.896788 -0.411426
---------
A B C D
2013-01-04 -0.305827 1.448368 1.197606 -0.329779
2013-01-05 -1.605675 2.470950 0.475849 -0.261321
2013-01-06 0.869420 0.932919 0.203338 -1.039685
---------
DatetimeIndex(['2013-01-01', '2013-01-02', '2013-01-03', '2013-01-04', '2013-01-05', '2013-01-06'],
dtype='datetime64[ns]', freq='D')
---------
Index(['A', 'B', 'C', 'D'], dtype='object')
DataFrame 转换成 NumPy 对象(DataFrame.to_numpy())
注意： DataFrame 的列由多种数据类型组成时，该操作耗费系统资源较大。同时
DataFrame.to_numpy()的输出不包含行索引和列标签。
Pandas 和 NumPy 的本质区别：NumPy 数组只有一种数据类型，DataFrame 每列的数据类型各不相同。
当调用 DataFrame.to_numpy() 时，Pandas 查找支持 DataFrame 里所有数据类型的 NumPy 数据类型。还有一种数据类型是 object，可以把 DataFrame 列里的值强制转换为 Python 对象。
# 当DataFrame里的值都是浮点数时，DataFrame.to_numpy()的操作会很快，而且不复制数据。
print(df.to_numpy())
print("------------")
# 当DataFrame中包含了多种类型，DataFrame.to_numpy()的操作就会耗费较多资源。
print(df2.to_numpy())
运行结果：
[[ 0.58115588 0.92713986 0.41851012 -0.82120405]
[ 0.37172229 -0.06479531 0.89678779 -0.41142571]
[ 1.26922774 -0.05247208 0.50293895 1.21858323]
[-0.30582652 1.4483678 1.19760636 -0.3297786 ]
[-1.60567514 2.47095001 0.47584868 -0.26132112]
[ 0.86941951 0.93291938 0.20333811 -1.03968497]]
------------
[[1.0 Timestamp('2013-01-02 00:00:00') 1.0 3 'test' 'foo']
[1.0 Timestamp('2013-01-02 00:00:00') 1.0 3 'train' 'foo']
[1.0 Timestamp('2013-01-02 00:00:00') 1.0 3 'test' 'foo']
[1.0 Timestamp('2013-01-02 00:00:00') 1.0 3 'train' 'foo']]
快速查看数据的统计摘要
print(df.describe())
运行结果：
A B C D
count 6.000000 6.000000 6.000000 6.000000
mean 0.196671 0.943685 0.615838 -0.274139
std 1.027852 0.958853 0.362994 0.791918
min -1.605675 -0.064795 0.203338 -1.039685
25% -0.136439 0.192431 0.432845 -0.718759
50% 0.476439 0.930030 0.489394 -0.370602
75% 0.797354 1.319506 0.798326 -0.278435
max 1.269228 2.470950 1.197606 1.218583
转置数据、按轴排序和按值排序
# 转置数据
print(df.T)
print("----------------------")
# 按轴排序：ascending=False表示降序，默认为升序， axis=1表示列
print(df.sort_index(axis=1, ascending=False))
# axis=0表示行
print(df.sort_index(axis=0, ascending=False))
print("----------------------")
# 按值排序
print(df.sort_values(by='B'))
运行结果：
2013-01-01 2013-01-02 2013-01-03 2013-01-04 2013-01-05 2013-01-06
A 0.581156 0.371722 1.269228 -0.305827 -1.605675 0.869420
B 0.927140 -0.064795 -0.052472 1.448368 2.470950 0.932919
C 0.418510 0.896788 0.502939 1.197606 0.475849 0.203338
D -0.821204 -0.411426 1.218583 -0.329779 -0.261321 -1.039685
----------------------
D C B A
2013-01-01 -0.821204 0.418510 0.927140 0.581156
2013-01-02 -0.411426 0.896788 -0.064795 0.371722
2013-01-03 1.218583 0.502939 -0.052472 1.269228
2013-01-04 -0.329779 1.197606 1.448368 -0.305827
2013-01-05 -0.261321 0.475849 2.470950 -1.605675
2013-01-06 -1.039685 0.203338 0.932919 0.869420
A B C D
2013-01-06 0.869420 0.932919 0.203338 -1.039685
2013-01-05 -1.605675 2.470950 0.475849 -0.261321
2013-01-04 -0.305827 1.448368 1.197606 -0.329779
2013-01-03 1.269228 -0.052472 0.502939 1.218583
2013-01-02 0.371722 -0.064795 0.896788 -0.411426
2013-01-01 0.581156 0.927140 0.418510 -0.821204
----------------------
A B C D
2013-01-02 0.371722 -0.064795 0.896788 -0.411426
2013-01-03 1.269228 -0.052472 0.502939 1.218583
2013-01-01 0.581156 0.927140 0.418510 -0.821204
2013-01-06 0.869420 0.932919 0.203338 -1.039685
2013-01-04 -0.305827 1.448368 1.197606 -0.329779
2013-01-05 -1.605675 2.470950 0.475849 -0.261321
