python爬虫

中间件这绝对是个老生常谈的话题了。遥想当年，第一次接触中间件的概念还是在使用ThinkPHP5.1框架中，后来在使用laravel5.8框架的时候，也是用了框架中的中间件，二者是何其的相似~   跑题

我们现在可以使用scrapy框架熟练的爬取贝壳网全站的数据。但这里也只是爬取文本。我这里我想爬取一下每条数据的经纪人图，这里我们该如何操作呢？   爬取图片这个属于老生常谈了。对爬取图片原理不了解的同

上一篇中，我们应用scrapy框架的request请求爬取了贝壳网二手房模块的二手房列表的标题数据。   现在，我的需求变了，我现在不止想要每个房子的标题，我还想要没个房子的挂牌时间和上次交易时间。那

上一篇中我们搞定了基于终端和管道的数据存储。 这里我们尝试爬取一下全站数据。那么，何为全站数据爬取呢？ 就是将网站中某板块下的全部页码对应的页面数据进行爬取，我这里的需求很简单，就是爬取贝壳网二手房页

一：基于终端的持久化存储 1 ：功能 只可以将parse方法的返回值存储到本地的文本文件中。   2 ：代码实例 存储命令格式： scrapy crawl 爬虫名称 -o 存储文件路径   我这里将上

数据解析这是一个很重要的话题。 Scrapy框架为我们封装了xpath解析方法。用法与我们之前看到的xpath一致，只是语法稍有不同。 首先，我们先回到《Python爬虫（六）数据解析—xpath（重

前面我们看的所有爬虫相关的知识都是基于request模块来实现的。 Python的爬虫是有一些很好用的框架。比如：Scrapy、PySpider等。 我这里主要来看下scrapy框架 Scrapy框架

Python的requests模块是不支持异步请求的。 例子就是我们在《Python爬虫（十四）使用协程实现异步爬虫》中最后爬取图片的例子。 那么，我们如何使用之前学到的知识实现异步请求呢？ 我第一个

协程，又称微线程，纤程。英文名Coroutine。 asyncio是Python 3.4版本引入的标准库，直接内置了对异步IO的支持。划重点，python3.4及以上才可以使用协程 简单回顾一下： E

爬虫中使用异步实现高性能的数据爬取操作。   一：多线程，多进程（不建议） 好处：可以为相关阻塞的操作单独开启线程或者进程，祖泽操作就可以异步执行 坏处：无法没有限制的开启多线程或者多进程   二：线

代理在爬虫中的应用主要是破解封IP这种反扒机制。 对于爬虫，许多门户网站都是对其有限制的，手段各不相同，像我的博客，就有封ip的反爬操作。 大概就是，某一个ip在一分钟之内访问了我20次以上，我这里默

看到标题，你一定会很疑惑，什么是无头浏览器呢？ 好巧，我第一次看到这个无头浏览器也是这么想的。那么无头浏览器是什么呢？ 无头浏览器即headless browser，是一种没有界面的浏览器。它有浏览器

模拟登陆一般用来爬取基于某些用户的用户信息 我这里使用ilabx（http://www.ilab-x.com/login ）来做测试 一：模拟登陆实现流程 1.      点击登陆按钮之后会发起一个p

Selenium是一个基于浏览器自动化的一个模块。   一：安装 selenium 模块 使用anaconda安装的过程我这里不再重复了，详情点击《Python（三）开源的Python包管理器 ana

网站登录一般会使用验证码来识别是否是机器操作，重复登录，消耗服务器资源。 验证码大概有以下几大类： 1：图形验证码（数字字母） 2：拖动滑块验证码 3：点击文字验证码 4：点击验证码 5：绘制图案（宫

网站登录一般会使用验证码来识别是否是机器操作，重复登录，消耗服务器资源。 验证码大概有以下几大类： 1：图形验证码（数字字母） 2：拖动滑块验证码 3：点击文字验证码 4：点击验证码 5：绘制图案（宫

Xpath解析：最常用且最简洁高效到的一种解析方式。通用性最强，在其他编程语言中也可应用。   本文中测试使用html文档在文末，可下载。   一：xpath解析原理 1：实例化一个etree的对象，

Bs4字符串解析是python独有的一种解析方式，只能在python语言中使用。 一：Bs4数据解析的原理： 1：标签定位 2：提取标签、标签属性中存储的数据值   二：Bs4数据解析的原理： 1：实

数据解析原理概述： 解析的局部的文本内容都会在标签之间或者标签对应的属性中进行存储 1：进行指定标签的定位 2：标签或者标签对应的属性中存储的数据值进行提取（解析） 关于正则表达式的使用，后边找个时间

爬取图片内容这部分也是使用requests模块进行爬取数据。 只是他爬取的数据是二级制的数据。这就很有意思了。我个人感觉爬取图片相对于之前爬取页面以及爬取json更能给人成就感，将爬取到的数据存储图片