Pandas 的Merge总结

·  阅读 331

Pandas Merge

pandas 的merge方法提供了一种类似于SQL的内存链接操作,官网文档提到它的性能会比其他开源语言的数据操作(例如R)要高效。

Merge

Merge的参数

  • on: 列名,join用来对齐的那一列名字,用到这个参数的时候一定要保证坐表和右表用来对齐的那一列都有相同的列名。
  • left_on: 坐标对齐的列,可以是列名,也可以是和dataframe同样长度的arrays;
  • left_index/right_index: 如果是True的 haunted以index作为对齐的key
  • how: 数据融合的方法
  • sort: 根据dataframe合并的keys按字典顺序排序,默认是,如果置false可以提高表现。 merge的默认合并方法:merge用于表内部基于index-on-index和index-on-column(s)的合并,但默认是基于index来合并。

1.1 复合key的合并方法

使用merge的时候可以选择多个key作为复合可以对齐合并。

1.1.1 通过on指定数据合并对齐的列

import pandas as pd

left = pd.DataFrame({'key1': ['K0', 'K0', 'K1', 'K2'],'key2': ['K0', 'K1', 'K0', 'K1'],'A': ['A0', 'A1', 'A2', 'A3'],'B': ['B0', 'B1', 'B2', 'B3']})
right = pd.DataFrame({'key1': ['K0', 'K1', 'K1', 'K2'],'key2': ['K0', 'K0', 'K0', 'K0'],'C': ['C0', 'C1', 'C2', 'C3'],'D': ['D0', 'D1', 'D2', 'D3']})

print('left----------------')
print(left)
print('right----------------')
print(right)
result = pd.merge(left, right, on=["key1","key2"])
print('merge----------------')
print(result)
复制代码
left----------------
  key1 key2   A   B
0   K0   K0  A0  B0
1   K0   K1  A1  B1
2   K1   K0  A2  B2
3   K2   K1  A3  B3
right----------------
  key1 key2   C   D
0   K0   K0  C0  D0
1   K1   K0  C1  D1
2   K1   K0  C2  D2
3   K2   K0  C3  D3
merge----------------
  key1 key2   A   B   C   D
0   K0   K0  A0  B0  C0  D0
1   K1   K0  A2  B2  C1  D1
2   K1   K0  A2  B2  C2  D2
复制代码

没有指定how的话默认使用inner方法,how的方法有:

left

只保留左表的所有数据

left_result = pd.merge(left, right, how='left', on=['key1','key2'])
print(left_result)
复制代码
  key1 key2   A   B    C    D
0   K0   K0  A0  B0   C0   D0
1   K0   K1  A1  B1  NaN  NaN
2   K1   K0  A2  B2   C1   D1
3   K1   K0  A2  B2   C2   D2
4   K2   K1  A3  B3  NaN  NaN
复制代码

right

只保留右表的所有数据

right_result = pd.merge(left, right, how='right', on=['key1','key2'])
print(right_result)
复制代码
  key1 key2    A    B   C   D
0   K0   K0   A0   B0  C0  D0
1   K1   K0   A2   B2  C1  D1
2   K1   K0   A2   B2  C2  D2
3   K2   K0  NaN  NaN  C3  D3
复制代码

outer

保留两个表的所有信息

outer_result = pd.merge(left, right, how='outer', on=['key1','key2'])
print(outer_result)
复制代码
  key1 key2    A    B    C    D
0   K0   K0   A0   B0   C0   D0
1   K0   K1   A1   B1  NaN  NaN
2   K1   K0   A2   B2   C1   D1
3   K1   K0   A2   B2   C2   D2
4   K2   K1   A3   B3  NaN  NaN
5   K2   K0  NaN  NaN   C3   D3
复制代码

inner

只保留两个表中公共部分的信息

inner_result = pd.merge(left, right, how='inner', on=['key1','key2'])
print(inner_result)
复制代码
  key1 key2   A   B   C   D
0   K0   K0  A0  B0  C0  D0
1   K1   K0  A2  B2  C1  D1
2   K1   K0  A2  B2  C2  D2
复制代码

1.2 indicator

v0.17.0版本的pandas开始还支持了一个indicator的参数,如果置为True的时候,输出结果会增加一列'_merge'。_merge列可以取三个值:

  1. left_only: 只在左表中
  2. right_only: 只在右表中
  3. both: 两个表中都有

1.3 join方法

dataframe内置的join方法是一种快速合并的方法。它默认以index作为对齐的列。

1.3.1 how参数

join中的how参数和merge中的how参数一样,用来指定表合并保留数据的规则。

1.3.2 on参数

在实际应用中如果右表的索引值正是左表的某一列的值,这时可以通过将右表的索引和左表的列对齐合并这样灵活的方式来进行合并。如下:

left = pd.DataFrame({'A': ['A0', 'A1', 'A2', 'A3'],'B': ['B0', 'B1', 'B2', 'B3'],'key': ['K0', 'K1', 'K0', 'K1']})
right = pd.DataFrame({'C': ['C0', 'C1'],'D': ['D0', 'D1']}, index=['K0', 'K1'])
result = left.join(right, on='key')

print('left----------------')
print(left)
print('right----------------')
print(right)
print('join----------------')
print(result)
复制代码
left----------------
    A   B key
0  A0  B0  K0
1  A1  B1  K1
2  A2  B2  K0
3  A3  B3  K1
right----------------
     C   D
K0  C0  D0
K1  C1  D1
join----------------
    A   B key   C   D
0  A0  B0  K0  C0  D0
1  A1  B1  K1  C1  D1
2  A2  B2  K0  C0  D0
3  A3  B3  K1  C1  D1
复制代码

1.3.2 suffix后缀参数

如果和表合并的过程中遇到有一列两个表都同名,但是值不同,合并的时候又想都保留下来,就可以用suffixes给每个表的重复列名增加后缀。

  • 另外还有lsuffix和rsuffix分别指定左表的后缀和右表的后缀
left = pd.DataFrame({'k':['K0','K1','K2'],'v':[1,2,3]})
right = pd.DataFrame({'k':['K0','K1','K2'],'v':[4,5,6]})
result = pd.merge(left, right, on='k', suffixes=['_l','_r'])

print('left----------------')
print(left)
print('right----------------')
print(right)
print('merge----------------')
print(result)
复制代码
left----------------
    k  v
0  K0  1
1  K1  2
2  K2  3
right----------------
    k  v
0  K0  4
1  K1  5
2  K2  6
merge----------------
    k  v_l  v_r
0  K0    1    4
1  K1    2    5
2  K2    3    6
复制代码

1.4 组合多个dataframe

一次组合多个dataframe的时候可以传入元素为dataframe的列表或者tuple。一次join多个,一次解决多次烦恼。

left = pd.DataFrame({'v':[1,2,3]}, index=['K0', 'K1', 'K2'])
right = pd.DataFrame({'v':[4,5,6]}, index=['K0', 'K0', 'K3'])
right2 = pd.DataFrame({'v': [7, 8, 9]}, index=['K1', 'K1', 'K2'])

result = left.join([right, right2])
print('left----------------')
print(left)
print('right----------------')
print(right)
print('right2----------------')
print(right2)
print('join----------------')
print(result)
复制代码
left----------------
    v
K0  1
K1  2
K2  3
right----------------
    v
K0  4
K0  5
K3  6
right2----------------
    v
K1  7
K1  8
K2  9
join----------------
    v_x  v_y    v
K0    1  4.0  NaN
K0    1  5.0  NaN
K1    2  NaN  7.0
K1    2  NaN  8.0
K2    3  NaN  9.0
复制代码

参考:blog.csdn.net/weixin_3722…

分类:
后端
标签:
收藏成功!
已添加到「」, 点击更改