python网络爬虫

1.scrapy框架介绍 写一个爬虫，需要做很多的事情。比如：发送网络请求、数据解析、数据存储、反反爬虫机制（更换ip代理、设置请求头等）、异步请求等。这些工作如果每次都要自己从零开始写的话，比较浪费

自行安装mysql和navicat 1.python连接Mysql数据库 python想要操作mysql，必须要使用到一个中间件，或者叫做驱动程序，驱动程序有很多，比如： mysqldb(只在pyth

1.sheet相关的操作 最新的xlrd已经废除了对excel表格的操作，所以使用旧版本的xlrd。 2.Cell相关的操作 3.Cell中常用的数据类型 4.写入Excel文件 导入xlwt模块。

1.读取CSV文件的两种方式 2.CSV文件写入的两种方法。如果可以的话，我们可以一起学习，一起进步。

1.什么是json字符串 JSON(JavaScript Object Notation, JS 对象标记) 是一种轻量级的数据交换格式。它基于 ECMAScript (w3c制定的js规范)的一个子

1.匹配单个字符串 2.匹配多个字符串 3.正则表达式案例,正则表达式因为比较繁琐，所有需要经常使用，同时正则表达式是通用的

1.BeautifulSoup4的作用 和 lxml 一样，Beautiful Soup 也是一个HTML/XML的解析器，主要的功能也是如何解析和提取 HTML/XML 数据 2.安装和文档 安装

1.安装和文档地址 安装：pip install requests 中文文档：Requests: 让 HTTP 服务人类 — Requests 2.18.1 文档 github地址：https://g

urllib库--内置 1.urlopen函数——网络请求 创建一个表示远程url的类文件对象，然后像本地文件一样操作这个类文件对象来获取远程数据 url：请求的url。 data：请求的data，如

1.什么是Xpath xpath（XML Path Language）是一门在XML和HTML文档中查找信息的语言，可用来在XML和HTML文档中对元素和属性进行遍历。 2.XPath开发工具 Chr

一：网络爬虫介绍 1.什么是网络爬虫 爬虫是模拟人类请求网站行为的程序。可以自动请求网页，并把数据抓取下来，然后使用一定的规则提取有价值的数据。 2.爬虫应用场景 搜索引擎 伯乐在线 惠惠购物助手 数