对于一张网页，我们往往希望它是结构良好，内容清晰的，这样搜索引擎才能准确地认知它。 而反过来，又有一些情景，我们不希望内容能被轻易获取，比方说电商网站的交易额，教育网站的题目等。因为这些内容，往往是一个产品的生命线，必须做到有效地保护。这就是爬虫与反爬虫这一话题的由来。 但是世…

爬虫最怕是被封ip，我相信很多爬虫新手都会傻傻地拿自己的ip用户爬取数据（顺序1的文件），前几次可能成功，但过了这个时间后，你会发现请求抛出403状态码，这是因为你的请求频率太高了，系统会认为你在爬虫，暂时把你的ip封了。