爬虫方法论

专栏记录了我本人在工作室接爬虫单的几个经典的真实案例，干货满满，这可是吃饭的家伙，还不关注一波。这个单子给我深刻的教训就是不要随便接软件开发的活。因为软件开发的话需求就太多了，给我整的心力交瘁的。

这次这个单子是别人做不了然后我接手的。说实话，一开始看到任务我以为我运气好捡漏了，后来才发现天上不会掉馅饼。这里提供了一种别样的方法来绕过反爬机制，主要思路就是自动打开页面+自动保存页面+后期解析。

在上篇文章中，我们整个爬虫任务进行了分析，同时也通过一个简单的`requests.get()`方法获取到了页面源码。 接下来这篇文章，我们要做的就是通过页面源码解析获取到我们想要的数据。

这里主要是介绍一个爬虫的基本流程，能够帮助我们爬下来我们想要的页面源码。当然光爬下来源码是远远不够的，还需要各种规则（beautifulsoup、正则表达式等）的解析才能获取到从整个源码中获取目标数据