【爬虫开发】爬虫开发从0到1全知识教程第1篇：爬虫概要,爬虫基础【附代码文档】

程序员一诺python
91 阅读1分钟

教程总体简介：爬虫概述 1. 爬虫的概念 爬虫基础 http协议复习 1. http以及https的概念和区别 2. 爬虫特别关注的请求头和响应头 3. 常见的响应状态码 4. 浏览器的运行过程 5. 关于http协议的其它参考阅读 Mongodb数据库 介绍 内容 mongodb的聚合操作 2 mongodb的常用管道和表达式 3 管道命令之$group 7 管道命令之$skip 和 $limit 8 小结 小结 scrapy爬虫框架 利用appium抓取app中的信息 利用appium自动控制移动设备并提取数据 2.1 安装appium-python-client模块并启动已安装好的环境 2.2 初始化以及获取移动设备分辨率 2.3 定位元素以及提取文本的方法 2.4 控制抖音app滑动 2.5 整理并完成自动滑动的代码 2.6 关于模拟式移动端爬虫的参考阅读 requests模块 数据提取概述 1. 响应内容的分类 2. 认识xml以及和html的区别 2.1 认识xml 2.3 常用数据解析方法 数据提取-jsonpath模块 1. jsonpath模块的使用场景 数据提取-lxml模块 1. 了解 lxml模块和xpath语法 2. 谷歌浏览器xpath helper插件的安装和使用 3. xpath的节点关系 4. xpath语法-基础节点选择语法 4.1 xpath定位节点以及提取属性或文本内容的语法 4.2 语法练习 7. lxml模块的安装与使用示例 7.2 爬虫对html提取的内容 8 练习 10. lxml模块中etree.tostring函数的使用 10.1 现象和结论 selenium的介绍 1. selenium运行效果展示 3. selenium的安装以及简单使用 获取当前标签页的全部cookie信息 把cookie转化为字典 删除所有的cookie 显式等待 参数20表示最长等待20秒 参数0.5表示0.5秒检查一次规定的标签是否存在 EC.presence_of_element_located((By.LINK_TEXT, '好123')) 表示通过链接文本内容定位标签 每0.5秒一次检查，通过链接文本内容定位标签是否存在，如果存在就向下继续执行；如果不存在，直到20秒上限就抛出异常 i = 0 while True: options.set_headles() # 无界面模式的另外一种开启方式 反爬与反反爬 常见的反爬手段和解决思路 1 服务器反爬的原因 2 服务器常反什么样的爬虫 3 反爬虫领域常见的一些概念 4 反爬的三个方向 5 常见基于身份识别进行反爬

完整笔记资料代码：gitee.com/yinuo112/Ba…

感兴趣的小伙伴可以自取哦~

全套教程部分目录：

部分文件图片：

爬虫概要

爬虫特点概要:

​ 1.知识点碎片化

​ 爬虫方向的知识点都是十分碎片化的，因为我们在写爬虫的时候会面对各种各样的网站，每个网站实现的技术都有相似，但是大多数时候还是有区别的，这也就要求我们根据不同的网站使用不通的应对手段，爬虫并不向我们在学习web阶段的时候要实现某一功能只需要按照套路就能够做出来，本阶段主要就是交给大家常用的一些网站爬取技术。

​ 2.学习难度

​ 爬虫的入门相对而言还是要比web简单，但是在后期，爬虫的难度要比web难，难在哪呢？在于爬虫工程师与网站的开发与运维人员的对抗，可能你写了一个网站的爬虫，结果该网站的运维人员发现之后添加了反爬措施，那么作为爬虫工程师就需要解决这个反爬。

​ 3.学习特点

​ 本阶段的并不像web阶段有一个完整的web项目进行学习，因为爬虫的特点，也就导致了我们的爬虫阶段是以某网站爬虫为讲解对象的，也就是一个技术点一个案例。

​ 4.后续发展

​ 相对于web主要掌握框架的使用，然后就是熟悉业务的单一方向，爬虫需要学生掌握的东西要更多，同学们在工作过程中可能根据工作需要涉及到更多从没有接触过的知识。

​ 5.法律层面

​ 目前而言，爬虫相关工作属于灰色地带，主要是目前国内现行法律对于爬虫的相关评判还没有一个明确的制度。

​ 6.课件

​ 课件可能存在bug，可能会定期更新，课件中的案例可能因为网站更新或者某些网络原因失效，那么同学们在做练习或者学习的时候可以自己找一些网站进行练习。

​ 7.建议

​ 好记性不如烂笔头，建议大家多找一些网站进行爬取练习。

爬虫概述

知识点：

  • 了解 爬虫的概念

  • 了解 爬虫的作用

  • 了解 爬虫的分类

  • 掌握 爬虫的流程

1. 爬虫的概念

模拟浏览器，发送请求，获取响应

网络爬虫（又被称为网页蜘蛛，网络机器人）就是模拟客户端(主要指浏览器)发送网络请求，接收请求响应，一种按照一定的规则，自动地抓取互联网信息的程序。

  • 原则上,只要是客户端(浏览器)能做的事情，爬虫都能够做
  • 爬虫也只能获取客户端(浏览器)所展示出来的数据
知识点：了解 爬虫的概念

2. 爬虫的作用

爬虫在互联网世界中有很多的作用，比如：

  1. [数据采集](

    1. [抓取微博评论](
    2. [抓取招聘网站的招聘信息](
    3. [新浪滚动新闻](
    4. [百度新闻网站](

  2. [软件测试](

    1. [爬虫之自动化测试](
    2. [虫师](

  3. [12306抢票](

  4. 网站上的投票

    1. [投票网](

  5. 网络安全

    1. [短信轰炸](

      1. [注册页面1](
      2. [注册页面2](
      3. [注册页面3](

    2. [web扫描](

知识点：了解 爬虫的作用

3. 爬虫的分类

3.1 根据被爬取网站的数量不同，可以分为：

  • 通用爬虫，如 搜索引擎

  • 聚焦爬虫，如12306抢票，或专门抓取某一个（某一类）网站数据

3.2 根据是否以获取数据为目的，可以分为：

  • 功能性爬虫，给你喜欢的明星投票、点赞

  • 数据增量爬虫，比如招聘信息

3.3 根据url地址和对应的页面内容是否改变，数据增量爬虫可以分为：

  • 基于url地址变化、内容也随之变化的数据增量爬虫

  • url地址不变、内容变化的数据增量爬虫

知识点：了解 爬虫的分类

4. 爬虫的流程

爬虫的基本流程如图所示

  1. 获取一个url
  2. 向url发送请求，并获取响应（需要http协议）
  3. 如果从响应中提取url，则继续发送请求获取响应
  4. 如果从响应中提取数据，则将数据进行保存
知识点：掌握 爬虫的流程

爬虫基础

本阶段主要学习一下关于爬虫的相关前置知识和一些理论性的知识，通过本阶段的我们能够知道什么是爬虫，都有那些分类，爬虫能干什么等，同时还会站在爬虫的角度复习一下http协议。

http协议复习

知识点

  • 掌握 http以及https的概念和默认端口

  • 掌握 爬虫关注的请求头和响应头

  • 了解 常见的响应状态码

  • 理解 浏览器和爬虫爬取的区别

一提起http协议，大家都会想起它是一个应用层协议，那么http协议跟爬虫有什么关系呢？请看下图：

1. http以及https的概念和区别

HTTPS比HTTP更安全，但是性能更低

  • HTTP：超文本传输协议，默认端口号是80

    • 超文本：是指超过文本，不仅限于文本；还包括图片、音频、视频等文件
    • 传输协议：是指使用共用约定的固定格式来传递转换成字符串的超文本内容

  • HTTPS：HTTP + SSL(安全套接字层)，即带有安全套接字层的超本文传输协，默认端口号：443

    • SSL对传输的内容（超文本，也就是请求体或响应体）进行加密

  • 可以打开浏览器访问一个url，右键检查，点击net work，点选一个url，查看http协议的形式

知识点：掌握 http以及https的概念和默认端口
avatar
文章
阅读
粉丝