爬虫基本概述

前言

到了这一章我们真正进入了爬虫开发。当然还是从理论入手，学习编程切忌操之过急，编程是一个需要积累的过程，当积累到一定的程度的时候，自然而然的会达到无师自通。

在这里另外的补充一下，看到很多同学，为了实现效果而编写代码。这样的学习效果是非常差的，相信有的同学可能会有这样的体会，老师讲的都能听懂，但是自己做就是做不出来，或者换一个网站，自己怎么就不会了呢。这就是基础不扎实，没有注重基础的掌握以及理解，不能够很好的应用自己所学习的技能来灵活的解决问题。所谓编程思想其实就是一种解决问题的方式。我们从零开始一步一个脚印的来巩固自己

爬虫理论知识

爬虫的基本概念？

什么是爬虫？相信没有面试官会问这么弱智的问题。但是，对于今后要从事爬虫开发工程师的同学来说，就有必要来专业的了解它的概念。下面是百度百科对爬虫的一段描述

网络爬虫（又称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。

其实我们可以用一句简单的大白话来形容爬虫，爬虫就是代替人去模拟浏览器进行网页操作

为什么需要爬虫呢？

• 为其他程序提供数据源 如搜索引擎(百度、Google等)

这些数据是怎么来的呢？首先百度的爬虫会把互联网上的数据爬取下来。在经过其他的程序提取关键字，然后将这些提取出来的数据保存到百度的数据库中。最后我们查询数据，其实是从百度的数据库中查询的数据。只要这个网页更新了，它就会不断的在这个网页上爬取。

• 数据分析，人工智能领域的支持

记得听过一句话为什么像类似于马云的这些互联网大佬比我们有钱呢？原因很简单，第一个人家有数据，第二个人家能够让数据产生价值。我们作为一个平凡人可能有会有数据，但是这些数据我们自身能够让其产生价值就不好说了。所以爬取数据是第一步，第二步就是要处理数据了，数据分析就是目前比较常见的一种处理数据的方式，例如我是一个汽车平台的管理者我就可以通过数据分析，来分析用户画像，看一下目前哪类人对汽车的需求更高等等。

现在比较火的一个词是人工智能，Python被誉为是开发人工智能首选的语言。这也导致Python又火了一把。但是，做人工智能是需要大量的数据为基础的。如果没有大量的数据支撑，我们目前要实现人工智能还是比较困难

• 更深层次地理解搜索引擎爬虫的工作原理，从而可以更好地进行SEO搜索引擎优化

对于很多SEO从业者来说，那么就必须要对搜索引擎的工作原理非常清楚，同时也需要掌握搜索引擎爬虫的工作原理，这样在进行搜索引擎优化时，达到事半功倍的效果。

爬虫的分类

现在目前爬虫主要分为4大类，我们主要学习的方向是聚焦网络爬虫

• 通用网络爬虫: 例如 baidu google yahu等搜索引擎都是通用网络爬虫
• 聚焦网络爬虫: 根据既定的目标有选择的抓取某一特定主题内容
• 增量式网络爬虫: 指对下载网页采取增量式的更新和只爬行新产生的或者已经发生变化的网页爬虫
• 深层网络爬虫: 指那些大部分内容不能通过静态链接获取的、隐藏在搜索表单后的，只有用户提交一些关键词才能获得的web页面 例如 用户登录注册才能访问的页面

Python开发爬虫的优势

• PHP 没有线程、进程功能，要想实现并发需要借用多路服用模型，PHP 使用的是 select 模型，实现其来比较麻烦

• Java/C/C++ 代码量大且笨重，编写起来麻烦。第三方爬虫模块不多

• Python 支持模块多、代码简介、开发效率高还有一个专门的爬虫框架Scrapy

爬虫的理论知识还是比较简单的。在后续的文章中，我们将进入爬虫的实战技能讲解，每天学习一点，你会发现成功离你越来越近。奥利给！！！