一、测试环境
系统:CentOS Linux release 7.9.2009 (Core)
语言:Python 2.7
gevent==1.1.2
requests==2.18.4
pymysql==0.9.3
prettytable==1.0.1
toml==0.10.2
数据库:MySQL
二、测试对象
九家海外HTTP代理商:
StormProxies
BrightData
Oxylabs
AstroProxy
PacketStream
NetNut
SOAX
Rayobyte
GeoSurf
Zyte
IPRoyal
三、测试网站
以亚马逊为主的9大网站,测试网站除了少部分验证 header 中某些参数以外,没有其他反爬,具体表现是同一个 IP 频繁请求会出现验证码、403、跳转登录、返回 JS 二次设置 Cookie 等情况,测试中已排除其他反爬,保证了测试结果只与 IP 的质量有关。
四、测试指标
数据量:统一 50 并发,测试时间 2 天
每个代理商累计请求量均 > 50 万,部分 > 300 万
主要指标解释:
请求成功:指成功请求 URL 并拿到响应,不管是否返回的是反爬内容
业务成功:指在请求成功的前提下,拿到正确的数据,连接失败、超时、被反爬均视为失败反爬识别:出现验证码、403、跳转登录等情况
请求超时:timeout = 10
代理报错:基本上是 502、503、SSLError 报错
五、数据分析
总体数据统计
由上表可知(排名分先后,从左到右):
请求成功率:1、StormProxies 2、IPRoyal 3、Rayobyte
业务成功率:1、StormProxies 2、BrightData与PacketStream 3、IPRoyal
请求超时占比:1、StormProxies与IPRoyal 2、Oxylabs 3、AstroProxy
反爬识别率:1、、IPRoyal 2、PacketStream 3、StormProxies
报错占比:1、StormProxies 2、IPRoyal 3、AstroProxy
平均响应(s):1、StormProxies 2、IPRoyal 3、AstroProxy与BrightData
六、总结
综合来说,StormProxies、IPRoyal 在质量上是独一档的优秀存在,AstroProxy、BrightData属于中等偏上,其余代理则是稍逊一筹,再考虑到价格,StormProxies作为国内代理商独树一帜,因此综合起来StormProxies会是最优选。