爬虫随记

101 阅读1分钟

最近爬虫业务很多都被发现了代理 IP 被识别 block 掉,引发的思考是服务器是如何识别 IP 来源的,有可能从请求头中识别有关来源 IP 的请求头,所以我在请求头中增加那些请求头,并随机设置为有效的公网 IP,再进行接口请求,发现数据正常返回了

	req.Header.Set("X-Real-IP", ip)
	req.Header.Set("X-Forwarded-For", ip)
	req.Header.Set("RemoteAddr", ip)
	req.Header.Set("X-Originating-IP", ip)
	req.Header.Set("X-Remote-IP", ip)
	req.Header.Set("X-Remote-Addr", ip)
	req.Header.Set("X-Client-IP", ip)