list去重

背景

在python爬虫过程中，可能需要对存入list的内容进行筛选，这时候可能需要list的去重操作。

• 方法
  • 1. 转为集合去重

       lst = [1, 2, 3, 2, 3, 4]
       # 第一种  集合可以去重  先转换成集合再转换成列表
       print("方法一：", list(set(lst)))
       

  • 2. 将不重复的元素转入另一个容器

       new_lst = []
       for k in lst:
           if k not in new_lst:
               new_lst.append(k)
       print("方法三：", new_lst)
       

  • 3. 转为字典去重

       # fromkeys 是把所有的键都赋同样的值（如果不指定内容则默认赋值为None）
       lst1 = []
       dct = dict.fromkeys(lst)
       print(dct)
       for n in dct:
           lst1.append(n)
       print("方法四：", lst1)
       
       

  • 4. 第三种方法的简写

       lst2 = list(lst.fromkeys())