其实双赢的爬虫（搜索引擎收录爬虫就是共赢的，地下黑作坊在网上肆意洗数据，譬如洗邮箱数据就是被抵制或非法的）对于大多数网站来说是有利的，而恶意的爬虫就适得其反了。正常来说我们想要获取某些网站数据应该通过他们的开放 API 进行合法授权访问，但是企业毕竟是企业，都是有所保留的开放 API 权限，所以有时候我们不得不使用暴力手段来洗劫有价值的数据，这也就是爬虫存在的一大价值。