fengbenming

应用机器的cpu占用率一直稳定在300%以上，如下图 一直以为是中心服务器要管理上万台服务器的数据收发是正常的业务负载，直到新系统上线后，所有服务器的流量就迁移到了新的服务...

在实际项目中，爬虫很容易被封ip，本文提供一种思路开发一个中间件，对爬虫应用提供简单的接口，而对被抓取的站点每次来说每次访问是不同的ip源。...