python字典去重复的几种方法

开启掘金成长之旅！这是我参与「掘金日新计划 · 12 月更文挑战」的第18天，点击查看活动详情

先说一下什么是数组： 数组的定义：

数组是相同类型数据的有序集合. 数组描述的是相同类型的若干个数据,按照一定的先后次序排列组合而成。 其中,每一个数据称作一个数组元素,每个数组元素可以通过一个下标来访问它们.

数组中的元素是可以重复的，所以就出现了去重的需求；

在python中，字典去重的方法有很多；

• 1、使用set;

arr = ['a','b','a','c','b']
def quchong01(arr):
    return list(set(arr))
print(quchong01(arr))

多次执行以上代码，会发现输出顺序可能会不一样；

• 2、使用字典的key

def quchong02(arr):
    a={}    
    a = a.fromkeys(arr)
    return list(a)

print(quchong02(arr))

多次执行以上代码，输出是一致的

• 3、循环比较去重

def quchong03(data):
    new_data = []
    for i in range(len(data)):
        if data[i] not in new_data:
            new_data.append(data[i])
    return new_data
print(quchong03(arr))

• 4、使用pandas

def quchong04(data):
    import pandas as pd
    return pd.unique(data).tolist()

---

特殊情况：

如果数组是字典组成的，是无法直接对数组内的字典采用set的方式进行去重的； 因为使用 set 去重的前提是该对象为不可变对象，而字典是可变对象，因此无法直接使用该方法去重。

字典数组去除重复的方法：

• 字典之所以不能用set去重，是因为它是可变对象。可以把它变成不可变对象

data = [{"a": 1}, {"a": 1}, {"a": 3}, {"b": 4}]
def quchong05(data):
    immutable_dict = set([str(item) for item in data])
    data = [eval(i) for i in immutable_dict]
    return data
print(quchong05(data))

遍历字典，将每个子项变成字符串存放到数组中，再通过set函数去重。 通过eval函数，将去重后的数组里的每个子项重新转化回字典。

• 或者将数组内的每个字典转成元组，也就是不可变对象，再使用set进行去重。去重完毕后再使用dict函数将元组重新组成字典对。

def quchong06(data):
    data = [dict(t) for t in set([tuple(d.items()) for d in data])]
    return data

print(quchong06(data))