hanxiaosss

假设我们需要处理一个非常大（比如几百 GB）的 csv 文件，其中包含需要下载的 url。 现在假设创建这个文件的人忘记删除重复的 url。 这是一个问题，因为我们并不想多次获取同一个 url：从网页获取资源是耗时的并且我们需要做到尽量简洁以避免我们对获取资源的站点发出过多的请…