爬虫

selenium的总结 selenium驱动对象/元素获取/发送信息 模拟键盘进行操作 模拟鼠标进行操作 wait使用解决time.sleep()慢的问题等

爬取快代理的所有的ip:port,并验证是否可用 爬取快代理的所有的ip:port,并验证是否可用 解决网站屏蔽无界面浏览器的问题(未调通) 提取网页的所有文本

selenium的使用(七)：下拉菜单的实践 文件的下载 爬取快代理的所有的ip:port 爬取快代理的所有的ip:port

cookie的相关操作 wait使用解决time.sleep()慢的问题 is_displayed的使用

selenium的使用(五) 包括下面的操作：前进/后退操作 xxxx登录 跳转到提示框，在实战中可以应用

多个浏览器窗口 模拟鼠标进行操作 模拟手机端的数据抓取 比较好用的selenium的操作，实战中用的比较多

CSDN登录(滑动验证码无解) 操作js 操作js driver.execute_script(js_str) 模拟键盘进行操作

selenium登录xxx的程序：自动判断登录成功还是失败 无界面浏览器 QQ空间的登录（failed）

selenium驱动对象/元素获取/发送信息 模拟登录xxxx网站 page_source和find_element_by_xapth 相较于by_class_name的不确定性，使用by_xpath

关于xpath的使用总结，主要关注于各种标签的提取，父节点的使用，轴的使用，属性多值contains的使用

属性多值contains的使用 contains的使用：应用于一个标签的属性有多个值的情况，如果我们还是用之前的相等的模式，是匹配不到值的 多个属性的and连接查找 多属性值的匹配，使用到了xpath

stockstar代码实战 haoduanzi代码实战 父节点的使用，对于父节点的使用我们可以在实战中多应用

强化数据提取代码 巩固前面的提取方式：最常见的两种 一是对属性的提取 //a/@href 二是对文本的提取 //div[@class="haha"]/a/text() 结合urllib2完成网页数据的

读取html字符串 主要是将html_str构造成体 数据展示如下： 从文件中读取html字符串 各种标签元素的提取 (重点)

urllib2的总结，urllib2的基本使用，包括保存图片和下载网页，代理解密、cookie的使用等

CookieJar内存(变量)使用cookie 下面的这个程序完成的是从响应中将cookie信息提取出来 cookie信息保存文件 下面的这个程序将cookie信息保存起来 文件cookie信息加载出

判断是否发生了重定向 简单判断是否发生了重定向 复杂判断是否发生了重定向 http://www.baidu.com/ 302:代表重定向 301:返回的是重定向后的url 解决https加密的问题 解

request对象的各种方法 使用request对象的各种方法 代理使用 使用网络上找到的免费的代理 ProxyHandler创建代理的函数，参数是一个字典，键http/https 值ip:port

使用add_data添加路径参数 Request的data的添加方法 post请求data参数 这个部分是Request中的data进行赋值，注意是字典类型，这个data赋值了，就代表是post请求了

Request对象的方法 使用Request对象的方法add_header，在请求头中增加信息 还有方法 add_data(data) add_header(key,value) add_unredi