持续创作，加速成长！这是我参与「掘金日新计划 · 10 月更文挑战」的第3天，点击查看活动详情大家好，我是辣条。

一见不日甚是...应该是一日不见甚是想念【串台了，这是郭德纲老师相声里的梗】。

直接进入今天的主题，相信学过爬虫的朋友们都知道爬虫封ip十分头疼，辣条今天带你获取免费ip代理

爬取目标网址：站大爷

工具使用开发环境：win10、python3.7 开发工具：pycharm、Chrome 工具包：requests，lxml

项目思路解析请求目标网页地址从静态网页中提取出ip地址（端口图片暂时不做处理）

通过xpath的方式提取出对应的网页数据提取下来的数据是进行加密的

提取数据的代码

session = requests.session()
url = 'www.zdaye.com/FreeIPList.…' response = session.get(url, headers=headers) data = response.content.decode() html_object = etree.HTML(data) data_list = html_object.xpath('//*[@id="ipc"]/tbody/tr') ip_list = [] for tr in data_list: ipnum = tr.xpath('./td[1]/text()')[0] ipnum2 = tr.xpath('./td[1]/@v')[0] ip_list.append((ipnum, ipnum2)) 找到数据的加密方法查看是否为动态加载的数据

并不是动态数据找到加密的js文件

打断点调试js代码

解析对应的加密函数

def sdfsgfdg(s): s2 = s.split('m') ts = '' for i in range(len(s2) - 1, -1, -1): ts += chr(int(s2[i]) - 352) return ts def MD5(p): return hashlib.md5((p).encode()).hexdigest().upper() def get_keyurl(mk, ak): url = 'www.zdaye.com/' + mk + "_" + MD5(MD5(sdfsgfdg(mk) + "beiji" + ak)) + '.gif' return url def dsfgsd(s, kk): s2 = s.split('#') ts = '' for i in range(len(s2) - 1, -1, -1): ts += chr(int(s2[i]) - kk) return ts t = str(time.strftime('%Y/%m/%d %H:%M:%S',time.localtime())).replace(' ', "%20").replace("/0", "/") new_url = 'www.zdaye.com/js/base.js?' + t pp = session.get(new_url, headers=headers) mk = re.findall('mk = "(.?)";', pp.text)[0] ak = re.findall('ak = "(.?)";', pp.text)[0] key_url = get_keyurl(mk, ak) key = session.get(key_url, headers=headers)

out函数从html页面获取到td的v标签数据进行解析 showm为MD5的加密方法

简易源码分享 import re import time import requests
from lxml import etree
import hashlib headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.198 Safari/537.36', 'Referer': 'www.zdaye.com/FreeIPList.…', } def sdfsgfdg(s): s2 = s.split('m') ts = '' for i in range(len(s2) - 1, -1, -1): ts += chr(int(s2[i]) - 352) return ts def MD5(p): return hashlib.md5((p).encode()).hexdigest().upper() def get_keyurl(mk, ak): url = 'www.zdaye.com/' + mk + "_" + MD5(MD5(sdfsgfdg(mk) + "beiji" + ak)) + '.gif' return url def dsfgsd(s, kk): s2 = s.split('#') ts = '' for i in range(len(s2) - 1, -1, -1): ts += chr(int(s2[i]) - kk) return ts session = requests.sess response = session.get(url, headers=headers) data = response.content.decode() html_object = etree.HTML(data) data_list = html_object.xpath('//*[@id="ipc"]/tbody/tr') ip_list = [] for tr in data_list: ipnum = tr.xpath('./td[1]/text()')[0] ipnum2 = tr.xpath('./td[1]/@v')[0] ip_list.append((ipnum, ipnum2)) t = str(time.strftime('%Y/%m/%d %H:%M:%S',time.localtime())).replace(' ', "%20").replace("/0", "/") new_url = 'www.zdaye.com/.js?' + t pp = session.get(new_url, headers=headers)

print(pp.text)

mk = re.findall('mk = "(.?)";', pp.text)[0] ak = re.findall('ak = "(.?)";', pp.text)[0] key_url = get_keyurl(mk, ak) key = session.get(key_url, headers=headers) key = int(key.text) new_ip = [] for info in ip_list: ip = info[0].replace("wait", (dsfgsd(info[1], key))) new_ip.append(ip) print(new_ip)

欢迎大家在评论中讨论交流技术呀，能帮到你的话记得给辣条三连哦！

文章知识点与官方知识档案匹配，可进一步学习相关知识 Python入门技能树网络爬虫urllib138670 人正在系统学习中

源码/资料/实战项目，备注：C站

微信名片

五包辣条！关注

专栏目录 Python爬虫动态ip代理防止被封的方法 01-20 在爬取的过程中难免发生ip被封和403错误等等，这都是网站检测出你是爬虫而进行反爬措施，在这里为大家总结一下怎么用IP代理防止被封首先，设置等待时间：常见的设置等待时间有两种，一种是显性等待时间（强制停几秒），一种是隐性等待时间（看具体情况，比如根据元素加载完成需要时间而等待）图1是显性等待时间设置，图2是隐性第二步，修改请求头：识别你是机器人还是人类浏览器浏览的重要依据就是User-Agent，比如人类用浏览器浏览就会使这个样子的User-Agent：’Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, 获取代理服务器ip列表的方法 ————————————————

你爱我，我爱你，IP被封很头疼【Python爬虫实战：ip代理js逆向采集】

print(pp.text)