Python爬虫

1、xpath 1.1、xpath环境 浏览器下载xpath插件 chrome插件下载 提取码：5iex python安装lxml库 1.2、xpath使用 etree.parse() 解析本地文件

1、搭建scrapy爬虫框架 下载 Twisted 下载 pywin32 下载 scrapy 2、创建爬虫项目 scrapy startproject 项目名称 cd 项目名称\项目名称\spider

1、基本使用 1.1、安装 1.2、一个类型和六个方法 一个类型: Response 六个属性: response.encoding = 'utf-8'      设置网页编码格式 response.

1、selenium安装 浏览器下载selenium chrome下载网址 注:需要下载和chrome浏览器版本和操作系统匹配的驱动 2. python下载selenium 2、selenium基本使

urllib的基本使用 1、 基本使用 使用步骤如下 定义一个要访问的url 模拟浏览器向服务器发送请求 获取响应中的页面的源码 打印数据 2、一个类型和六个方法 一个类型: HTTPResponse