AI 前线导读：现如今，爬取网页看起来似乎是一件很简单的事。有很多开源框架或库、可视化爬取工具和数据提取工具，利用这些工具可以很容易地从网站上爬取数据。但是，当你想大规模爬取网站时，事情就变得棘手起来。其中包括应对不断变化的网站格式、构建可伸缩的爬虫基础框架并保持吞吐量，与此同…