当数据量比较大时，使用常规的方式来判重就不行了。 例如，使用 MySQL 数据库判重，或使用 List.contains() 或 Set.contains() 判重就不可行，因为 MySQL 在数据量