Python爬虫

一、scrapy 概念和流程 1、概念 Scrapy 是一个 python 编写的，被设计用于爬取网络数据、提取结构性数据的开源网络爬虫框架。 作用：少量的代码，就能够快速的抓取 官方文档：https

一、Selenium 的介绍 Selenium 是一个 Web 自动化测试工具，最初是为网站自动化测试而开发，Selenium 可以直接调用浏览器，它支持所有主流的浏览器（包括 PhantomJS 这

一、概述 1、响应内容的分类 结构化的响应内容 json 字符串：可以使用 re、json、jsonpath 等模块来提取特定数据 xml 字符串：可以使用 re、lxml 等模块来提取特定数据 非结

一、爬虫基础 概念 模拟浏览器，发送请求，获取响应 作用 数据采集 软件测试 抢票 网站上的投票 网络安全 1、http 与 https 的概念和区别 HTTP：超文本传输协议，默认端口号是 80。