干货!精通爬虫必须要知道的3个学习技巧(送10本爬虫电纸书,7套爬虫视频教程)

1,152 阅读4分钟

学爬虫有一段时间了,对于爬虫的学习主要有以下3点感悟,现总结如下,希望能帮助到大家。

1. 一定要有爬虫学习资源

要想真正学好爬虫,最重要的是要拥有什么?聪明的大脑?不,我觉得是要拥有一份适合自己学习爬虫的资料和教程。我把学习爬虫会用到的资料分为两种:1.爬虫相关书籍(包括电子书);2.爬虫相关视频教程;

接下来我会分上面两种情况给大家列出我搜集的各种爬虫电子书和视频教程,如果你想要的话,可以关注我公众号:程序员向东然后回复关键字:爬虫,即可获取一个打包的百度网盘地址。真诚送,无套路。

1.1 爬虫相关书(共10本)

  • 《Python 3网络爬虫开发实战》,豆瓣评分8.9,我刚开始学爬虫就是用的这本书,写的很详细,推荐入手。
  • 《自己动手写爬虫》,豆瓣评分5.6。
  • 《用python写网络爬虫》第二版。
  • 《精通Scrapy网络爬虫》,豆瓣评分6.3。
  • 《精通Python网络爬虫 核心技术、框架与项目实战》。
  • 《从零开始学Python网络爬虫》
  • 《Python网络数据采集》
  • 《Python爬虫开发与项目实战 》
  • 《Python3网络爬虫数据采集》
  • 《网络爬虫全解析 技术、原理与实践》

1.2 爬虫视频教程(共7套)

  • 崔庆才_Python3爬虫入门到精通课程视频附软件与电子书资料 34课

  • Python爬虫从入门到高级实战

  • 零基础:21天搞定Python分布爬虫

  • Python分布式爬虫打造搜索引擎

  • 30个小时搞定Python网络爬虫(全套详细版)

  • 21堂不写代码的信息掘金课(完结) 爬虫第一季和第二季

2. 一定要知道爬虫学习的路径

首先,学习爬虫之前一定要有Python语言的基础,这里我们先假定你已经对Python比较熟练了,不熟练也没有关系,在学习爬虫的过程当中一点点补起来就好啦,Python比较容易上手,对新手很友好。

然后你就要学习爬虫方面的知识了,爬虫开发大致分为四个大的方面:1.获取页面;2.解析页面;3.数据存储;4.数据分析。每个方面都有对应的python库要学习。

爬虫技术只是我们获取数据的一种手段,重头戏在数据分析这里,如果想要学数据分析的话,你还要学习pandas、numpy、Matplotlib、SciPy等库的用法。

最后,爬虫的基础知识学的差不多之后,你就可以考虑用一些比较成熟的爬虫框架了,比如说scrapy,Pyspider。

  • 页面获取需要学习的python库:requests,selenium,ChromeDriver,PhantomJS,aiohttp
  • 解析页面需要学习的python库:lxml,BeautifulSoup,xpath,pyqwery
  • 数据存储需要学习的python库:PyMySQL,PyMongo,redis-py,RedisDump
  • 数据分析需要学习的python库:pandas、numpy、Matplotlib、SciPy
  • 数据存储需要学习的数据库有:Mysql,MongoDB,Redis
  • APP移动端爬取相关库:Charles,mitmproxy,APPium
  • 爬虫框架:scrapy,Pyspider。

3. 一定要做爬虫学习笔记

为什么很多技术大佬们能够在多门编程语言之间随意切换使用?为什么他们能够熟练掌握多个技术栈?有一个很重要的原因,那就是做学习笔记或者说是写博客。俗话说好记性不如烂笔头,学习的时候感觉很爽,一直学能一直爽。

但是学完之后,过了一段时间就会有遗忘,然后你就会经常产生这种感觉:那个函数是怎么写的来着?那个python库叫什么来着?相信我,分分钟你会觉得自己得了"老年痴呆"…...

但是如果你在学习的时候能将一些重点内容或者代码Demo记录下来,每当忘记的时候就能立马找到,然后复习巩固一下,一来二去你就记住了。这里我给大家推荐一款特别有效率的Markdown笔记软件:Typora。

Windows系统和Mac系统都有对应的版本。用Markdown有两点好处:1.特别方便排版;2.特别方便插入代码;3.特别方便同步到各大网络平台(像CSDN和知乎都支持Mardown编辑器),下面是我最近学习Java时做的笔记:

所以,强烈建议大家,尤其是初学者,在学习爬虫的时候能做好学习笔记!

以上就是我给大家的一份爬虫学习建议,**如果你想获取更多有关python、爬虫、数据分析等方面的资料和干货,欢迎大家关注我的公众号:程序员向东。关注后回复关键字:PYTHON,可以获取一份python学习大礼包,**我在公号等你~