2021年最详细的python爬虫入门教程

·  阅读 121

爬虫(又被称为网页蜘蛛,网络机器人)就是模拟客户端发送网络请求,接收请求响应,一种按照一定的规则,自动地抓取互联网信息的程序。

原则上,只要是浏览器(客户端)能做的事情,爬虫都能够做。

完整教程和代码,以及视频,可以在-码蝗网-看到

根据被爬网站的数量的不同,我们把爬虫分为:

   通用爬虫 :通常指搜索引擎的爬虫

   聚焦爬虫 :针对特定网站的爬虫
复制代码

Robots协议:网站通过Robots协议告诉搜索引擎哪些页面可以抓取,哪些页面不能抓取,但它仅仅是道德层面上的约束。

浏览器会主动请求js,css等内容,js会修改页面的内容,js也可以重新发送请求,最后浏览器渲染出来的内容在elements中,其中包含css,图片,js,url地址对应的响应等。

但是在爬虫中,爬虫只会请求url地址,对应的拿到url地址对应的响应。浏览器渲染出来的页面和爬虫请求的页面并不一样。所以在爬虫中,需要以url地址对应的响应为准来进行数据的提取。

url的形式:scheme://host[:port#]/path/…/[?query-string][#anchor]

   scheme:协议(例如:http, https, ftp)

   host:服务器的IP地址或者域名

   port:服务器的端口(如果是走协议默认端口,80 or 443path:访问资源的路径

   query-string:参数,发送给http服务器的数据

   anchor:锚(跳转到网页的指定锚点位置)
复制代码

HTTP:超文本传输协议,默认端口号:80

HTTPS:HTTP + SSL(安全套接字层),默认端口号:443 (HTTPS比HTTP更安全,但是性能更低)

HTTP常见请求头

   1、Host (主机和端口号)

   2、Connection (链接类型)

   3、Upgrade-Insecure-Requests (升级为HTTPS请求)

   4、User-Agent (浏览器名称)

   5、 Accept (传输文件类型)

   6、Referer (页面跳转处)

   7、Accept-Encoding(文件编解码格式)

   8、Cookie (Cookie)

   9、x-requested-with :XMLHttpRequest (是Ajax 异步请求)
复制代码

常见的请求方法

   GET

   POST

   我刚整理了一套2018最新的0基础入门和进阶教程,无私分享,加Python学习q-u-n :二二七,四三五,四五零 即可获取,内附:开发工具和安装包,以及系统学习路线图
复制代码

有关 GET 请求的其他一些注释:

   GET 请求可被缓存

   GET 请求保留在浏览器历史记录中

   GET 请求可被收藏为书签

   GET 请求不应在处理敏感数据时使用

   GET 请求有长度限制

   GET 请求只应当用于取回数据
复制代码

有关 POST 请求的其他一些注释:

   POST 请求不会被缓存

   POST 请求不会保留在浏览器历史记录中

   POST 不能被收藏为书签

   POST 请求对数据长度没有要求
复制代码

响应状态码(status code)

常见的状态码:

   200:成功

   302:临时转移至新的url

   307:临时转移至新的url

   404:not found

   500:服务器内部错误
复制代码

代理IP的分类:

透明代理(Transparent Proxy),透明代理虽然可以直接“隐藏”你的IP地址,但是还是可以从HTTP_X_FORWARDED_FOR来查到你是谁。

匿名代理(Anonymous Proxy),匿名代理比透明代理进步了一点:别人只能知道你用了代理,无法知道你是谁。

混淆代理(Distorting Proxies),与匿名代理相同,如果使用了混淆代理,别人还是能知道你在用代理,但是会得到一个假的IP地址,伪装的更逼真。

高匿代理(Elite proxy或High Anonymity Proxy),高匿代理让别人根本无法发现你是在用代理,所以是最好的选择。

Scrapy是一个为了爬取网站数据,提取结构性数据而编写的应用框架,我们只需要实现少量的代码,就能够快速的抓取。

Scrapy 使用了Twisted['twɪstɪd]异步网络框架,可以加快我们的下载速度。

   异步:调用在发出之后,这个调用就直接返回,不管有无结果

   非阻塞:关注的是程序在等待调用结果(消息,返回值)时的状态,指在不能立刻得到结果之前,该调用不会阻塞当前线程。
复制代码

scrapy的流程

从上图可以衍生出下图,个人觉得更加好理解一些

其流程可以描述如下:

   1、调度器把requests-->引擎-->下载中间件--->下载器

   2、下载器发送请求,获取响应---->下载中间件---->引擎--->爬虫中间件--->爬虫

   3、爬虫提取url地址,组装成request对象---->爬虫中间件--->引擎--->调度器

   4、爬虫提取数据--->引擎--->管道

   5、管道进行数据的处理和保存
复制代码

scrapy中每个模块的具体作用:

scrapy项目实现流程:

   创建一个scrapy项目:scrapy startproject +<项目名字>

   生成一个爬虫:scrapy genspider +<爬虫名字> + <允许爬取的域名>

   提取数据:完善spider,使用xpath等方法

   保存数据:pipeline中保存数据
复制代码

scrapy.cfg :项目的配置文件

mySpider/ :项目的Python模块,将会从这里引用代码

mySpider/items.py :项目的目标文件

mySpider/pipelines.py :项目的管道文件

mySpider/settings.py :项目的设置文件

mySpider/spiders/ :存储爬虫代码目录

认识scrapy的debug信息

每次程序启动后,默认情况下,终端都会出现很多的debug信息,那么下面我们来简单认识下这些信息

scrapy shell的使用

   response.url:当前响应的url地址

   response.request.url:当前响应对应的请求的url地址

   response.headers:响应头

   response.body:响应体,也就是html代码,默认是byte类型

   response.requests.headers:当前响应的请求头
复制代码

settings.py中的重点字段和内涵

   USER_AGENT 设置ua

   ROBOTSTXT_OBEY 是否遵守robots协议,默认是遵守

   CONCURRENT_REQUESTS 设置并发请求的数量,默认是16个

   DOWNLOAD_DELAY 下载延迟,默认无延迟

   COOKIES_ENABLED 是否开启cookie,即每次请求带上前一次的cookie,默认是开启的

   DEFAULT_REQUEST_HEADERS 设置默认请求头

   SPIDER_MIDDLEWARES 爬虫中间件,设置过程和管道相同

   DOWNLOADER_MIDDLEWARES 下载中间件
复制代码
分类:
代码人生
标签:
收藏成功!
已添加到「」, 点击更改