Hmzzy

由于公司业务的迭代，需要对部分数据进行筛洗，涉及到对大文件的排序和去重。刚开始接触到这个这个任务，也是想尽各种方法, redis、bitmap 或者优秀的排序算法等，但最后都发现实现这些方法比较繁琐，而且极其吃内存，不是很可行。在百抓挠腮之际，看到了一些优秀回答者的建议，就是利…