爬虫

本篇文章将介绍JS逆向常见的加密算法 1.消息摘要算法 常见的消息摘要算法有MD5 | sha1 | sha256 | sha512 什么是消息摘要算法呢？ 消息摘要算法又叫单向散列函数。消息摘要算法

最近一段时间，身边同事总是会遇到类似这个错，请求https网址时，会报这个异常，然后看同事urllib3版本都是>=1.26.x，然后把urllib3降低到1.25.x就不报错了 pip3 insta

问题描述 今天在使用selenium的时候，我们碰到了一个现象，就是我们的可点击的元素并不能点击，报错如下 我们来分析下错误，说的大概的意思是我们找到了相对应的li元素，但是li元素是不可以点击的，另

1. 反爬 有时候，我们利用 Selenium 自动化爬取某些网站时，极有可能会遭遇反爬。 实际上，我们使用默认的方式初始化 WebDriver 打开一个网站，下面这段 JS 代码永远为 true，而

selenium获取的cookie,实现在cookie过期的时候们，可以自动获取cookie，免去手动复制更新的过程，在和浏览器中的cookie对比发现格式不一样，然后对着他进行格式改变. 代码如下：

关于js逆向破解的过程全记录 第一步：熟悉需求 目标网站：https://fanyi.youdao.com/ 在左侧输入英文单词会时时的在右侧展示出来翻译的结果 第二步:找到异步加载的接口，分析参数

第一步：熟悉需求 目标网站：http://jzsc.mohurd.gov.cn/data/company 第二步:找到异步加载的接口，分析接口数据 我们看到数据展示到了页面上，我们来找xhr请求 应该

第二个js逆向项目--数据加密js解密 第一步：熟悉需求 目标网站：https://www.qimingpian.cn/finosda/project/pinvestment 第二步:找到异步加载的接

问题产生： 下面展示报错代码片。 问题解决： 按提示进入 xxx\python\lib\subprocess.py（ 双击报错提示，可快捷进入） 在 class Popen(object): 下的，

网页通过link text 方式定位https://xdclass.net/#/index  该网页上的“视频学习”位置： driver.find_element_by_link_text("视频学习

前言： 近期很多小伙伴在使用 selenium 做 Web 自动化的过程中，遇到了文件上传的功能，发现通过 selenium 无从下手。那么小编在这里给大家整理了一篇文章，只需要几行简单的代码，就可以

爬虫目录总览(持续更新中) 请求类 urllib2的使用(python2) urllib2目录 链接地址 urlopen()的使用，返回的类文件对象的读取方法 https://juejin.cn/po

re的总结：王器([\s\S]*?)的使用 这个最重要 在提取多标签下的所有的文字的时候，非常的好用

王器([\s\S]*?)的使用 在想要获取所有的文本信息的时候，并且使用其他的解析工具相对比较复杂的时候，使用([\s\S]*?)绝对能解决问题 常见的使用正则匹配的结构格式

智联招聘job的正则的提取方式 使用selenium爬取拉钩信息 对指定地点的python求职信息进行抓取

txt & json的总结：json字符串生成json对象、双引号和单引号的问题、文件读取json内容等

json字符串生成json对象 json双引号，不能使用单引号 文件读取json内容 json写入文件 json.dumps()会自动将json串中的单引号变成双引号 json写入文件，indent指

csv的总结：csv文件列表单行写入、csv文件列表多行写入、csv文件字典写入、csv库读取csv文件等

csv的追加写入 指定编码格式 尝试写入中文的时候，没有使用encoding='utf-8'，在文件中输出的是乱码，所以存在中文就要将编码格式添加上去 csv库读取csv文件 pandas读取csv文

csv的使用(一)： csv文件列表单行写入 指定分隔符 csv文件列表多行写入 csv文件字典写入