干货!直观地解释和可视化每个复杂的 DataFrame 操作

289 阅读7分钟

大多数数据科学家可能会赞扬Pandas进行数据准备的能力,但许多人可能无法利用所有这些能力。操作数据帧可能很快会成为一项复杂的任务,因此在Pandas中的八种技术中均提供了说明,可视化,代码和技巧来记住如何做。

![](https://static001.geekbang.org/infoq/da/da1d667840a5eef6d6489a818f34824d.png)

Pandas提供了各种各样的DataFrame操作,但是其中许多操作很复杂,而且似乎不太平易近人。本文介绍了8种基本的DataFrame操作方法,它们涵盖了数据科学家需要知道的几乎所有操作功能。每种方法都将包括说明,可视化,代码以及记住它的技巧。

Pivot

透视表将创建一个新的“透视表”,该透视表将数据中的现有列投影为新表的元素,包括索引,列和值。初始DataFrame中将成为索引的列,并且这些列显示为唯一值,而这两列的组合将显示为值。这意味着Pivot无法处理重复的值。

![](https://static001.geekbang.org/infoq/10/107a215b464a664caa5b7675785040e9.png)

旋转名为_df_ 的DataFrame的代码 如下:

![](https://static001.geekbang.org/infoq/4c/4c0903573c257ea487429db33068a114.png)

记住:Pivot——是在数据处理领域之外——围绕某种对象的转向。在体育运动中,人们可以绕着脚“旋转”旋转:大熊猫的旋转类似于。原始DataFrame的状态围绕DataFrame的中心元素旋转到一个新元素。有些元素实际上是在旋转或变换的(例如,列“ bar ”),因此很重要。

Melt

Melt可以被认为是“不可透视的”,因为它将基于矩阵的数据(具有二维)转换为基于列表的数据(列表示值,行表示唯一的数据点),而枢轴则相反。考虑一个二维矩阵,其一维为“ B ”和“ C ”(列名),另一维为“ a”,“ b ”和“ c ”(行索引)。

我们选择一个ID,一个维度和一个包含值的列/列。包含值的列将转换为两列:一列用于变量(值列的名称),另一列用于值(变量中包含的数字)。

![](https://static001.geekbang.org/infoq/41/41b1a37529a694f137e389c4ade2768a.png)

结果是ID列的值(a,b,c)和值列(B,C)及其对应值的每种组合,以列表格式组织。

可以像在DataFrame _df_上一样执行Mels操作 :

![](https://static001.geekbang.org/infoq/c9/c987325fabdf73795fbbc7a2e34b0610.png)

记住:像蜡烛一样融化(Melt)就是将凝固的复合物体变成几个更小的单个元素(蜡滴)。融合二维DataFrame可以解压缩其固化的结构并将其片段记录为列表中的各个条目。

Explode

是一种摆脱数据列表的有用方法。当一列爆炸时,其中的所有列表将作为新行列在同一索引下(为防止发生这种情况, 此后只需调用 .reset_index()即可)。诸如字符串或数字之类的非列表项不受影响,空列表是NaN值(您可以使用.dropna()清除它们 )。

![](https://static001.geekbang.org/infoq/ba/ba17ac3a1f9a4b74d9c1868ddaa7ebf5.png)

在DataFrame _df中_Explode列“ A ” 非常简单:

![](https://static001.geekbang.org/infoq/ef/efa30b5aa4d870919888aba2a612de73.png)

要记住:Explode某物会释放其所有内部内容-Explode列表会分隔其元素。

Stack

堆叠采用任意大小的DataFrame,并将列“堆叠”为现有索引的子索引。因此,所得的DataFrame仅具有一列和两级索引。

![](https://static001.geekbang.org/infoq/e1/e1830f54ac7b78cbd327570f324eb323.png)

堆叠名为_df_的表就像_df.stack()_一样简单 。

为了访问狗的身高值,只需两次调用基于索引的检索,例如 df.loc ['dog']。loc ['height']

要记住:从外观上看,_堆栈_采用表的二维性并将列堆栈为多级索引。

Unstack

取消堆叠将获取多索引DataFrame并对其进行堆叠,将指定级别的索引转换为具有相应值的新DataFrame的列。在表上调用堆栈后再调用堆栈不会更改该堆栈(原因是存在“ 0 ”)。

![](https://static001.geekbang.org/infoq/f2/f275946ef0ab3f7d9962f1cf09727208.png)

堆叠中的参数是其级别。在列表索引中,索引为-1将返回最后一个元素。这与水平相同。级别-1表示将取消堆叠最后一个索引级别(最右边的一个)。作为另一个示例,当级别设置为0(第一个索引级别)时,其中的值将成为列,而随后的索引级别(第二个索引级别)将成为转换后的DataFrame的索引。

![](https://static001.geekbang.org/infoq/f8/f826aa0d40da7e4d48a37801f914cb59.png)

可以按照与堆叠相同的方式执行堆叠,但是要使用level参数: df.unstack(level = -1)

Merge

合并两个DataFrame是在共享的“键”之间按列(水平)组合它们。此键允许将表合并,即使它们的排序方式不一样。完成的合并DataFrame 默认情况下会将后缀__x_ 和 __y_添加 到value列。

![](https://static001.geekbang.org/infoq/5c/5c08b4b5ed40192653ae58652e796a05.png)

为了合并两个DataFrame df1df2 (其中 df1 包含 leftkey,df2 包含 rightkey),请调用:

![](https://static001.geekbang.org/infoq/e4/e4a3a1b7a98a6c1bac156fdef516ece5.png)

合并不是pandas的功能,而是附加到DataFrame。始终假定合并所在的DataFrame是“左表”,在函数中作为参数调用的DataFrame是“右表”,并带有相应的键。

默认情况下,合并功能执行内部联接:如果每个DataFrame的键名均未列在另一个键中,则该键不包含在合并的DataFrame中。另一方面,如果一个键在同一DataFrame中列出两次,则在合并表中将列出同一键的每个值组合。例如,如果 df1 具有3个键_foo_ 值, 而 df2 具有2个相同键的值,则 在最终DataFrame中将有6个条目,其中 leftkey = foorightkey = foo

![](https://static001.geekbang.org/infoq/2f/2f066dc326181130934736c9aa4f53a3.png)

记住:合并数据帧就像在水平行驶时合并车道一样。想象一下,每一列都是高速公路上的一条车道。为了合并,它们必须水平合并。

Join

通常,联接比合并更可取,因为它具有更简洁的语法,并且在水平连接两个DataFrame时具有更大的可能性。连接的语法如下:

![](https://static001.geekbang.org/infoq/9a/9adb0fc8a6eaef21f80b31df41c11216.png)

使用联接时,公共键列(类似于 合并中的_right_on_ 和 left_on)必须命名为相同的名称。how参数是一个字符串,它表示四种_连接_ 方法之一, 可以合并两个DataFrame:

  • ' left ':包括_df1的_所有元素, 仅当其键为_df1_的键时才 包含_df2的_元素 。否则,_df2_的合并DataFrame的丢失部分 将被标记为NaN。

  • ' right ':' left ',但在另一个DataFrame上。包括_df2的_所有元素, 仅当其键是_df2_的键时才 包含_df1的_元素 。

  • outer”:包括来自DataFrames所有元素,即使密钥不存在于其他的-缺少的元素被标记为NaN的。

  • inner”:仅包含元件的键是存在于两个数据帧键(交集)。默认合并。

记住:如果您使用过SQL,则单词“ join”应立即与按列添加相联系。如果不是,则“ join”和“ merge”在定义方面具有非常相似的含义。

Concat

合并和连接是水平工作,串联或简称为concat,而DataFrame是按行(垂直)连接的。例如,考虑使用_pandas.concat([df1,df2])_串联的具有相同列名的 两个DataFrame df1df2

![](https://static001.geekbang.org/infoq/f7/f732a03b257a496e28756a4cae4ddc9c.png)

尽管可以通过将axis参数设置为_1_来使用concat进行列式联接,但是使用联接 会更容易。

请注意,concat是pandas函数,而不是DataFrame之一。因此,它接受要连接的DataFrame列表。

如果一个DataFrame的另一列未包含,默认情况下将包含该列,缺失值列为NaN。为了防止这种情况,请添加一个附加参数_join ='inner'_,该参数 只会串联两个DataFrame共有的列。

![](https://static001.geekbang.org/infoq/01/0143c30bc68cb5c4f571bd8cb117f8b1.png)

切记:在列表和字符串中,可以串联其他项。串联是将附加元素附加到现有主体上,而不是添加新信息(就像逐列联接一样)。由于每个索引/行都是一个单独的项目,因此串联将其他项目添加到DataFrame中,这可以看作是行的列表。

Append是组合两个DataFrame的另一种方法,但它执行的功能与concat相同,效率较低且用途广泛。

如果您喜欢的话欢迎点赞转发!

往期精彩链接:

Github文件在线加速下载

进阶Python开发(PDF版开源了)

看完别走还有惊喜!

我精心整理了计算机/Python/机器学习/深度学习相关的2TB视频课与书籍,价值1W元。关注微信公众号“计算机与AI”,点击下方菜单即可获取网盘链接。

![](https://static001.geekbang.org/infoq/90/903237ffd0a3b3ae06272386f26ecb9e.png)