在掘金看到了一篇《用Node+wechaty写一个爬虫脚本每天定时给女(男)朋友发微信暖心话》后，我就想为什么不用 Python 去实现这个功能呢。 JUST TO IT，说做就做。 这文章的结构也是参考上面这位朋友的。 本来只是写单人的，不过有些优（作）秀（死）的人表示女朋友…

之前的一篇文章 爬虫爬了下知乎上的神回复，已笑趴～ 发布后，引发了大家热烈的反响。很多朋友觉得很神奇，私下问强哥是怎么做到的，有的朋友还表示不太相信。其实爬取知乎神回复很简单，这篇文章我们就来揭晓一下背后的原理。 知乎神回复都有些什么特点呢？我们先来观察一下。 大家看出什么规律…

貌似爬虫爱好者都喜欢爬豆瓣的东西，无论是电影、音乐还是小组等等。所以豆瓣网在反爬方面也是煞费苦心。当你的爬虫没什么策略可言时，很容易就会返回 403 错误。经过一些实验以及 Google 的结果，大体可以看出豆瓣的反爬策略

前两篇文章我们了解了Scrapy的理论知识，那么我们不能做纸上谈兵的赵括。实践才是检验真理的唯一标准。本篇文章我们来抓取网易云音乐的所有音乐及音乐的热评。 我们打开浏览器，访问网易云音乐的网页端。如果我们想要抓取到所有的音乐，就得有一个切入口，能够获得到所有的音乐数据。 那么通…

一看到这个，密密麻麻的数字和字母，就猜应该是被加密了，不过可以复制下来看看有没有用。接下来看下他的Response，咦，这是个json，不是html结构的，所以需要用到Json库来进行解析 现在开始敲代码吧，先把上面的两个参数复制过来看看。 可以看到，利用json.loads(…

爬天爬地

搜狗微信搜索提供两种类型的关键词搜索，一种是搜索公众号文章内容，另一种是直接搜索微信公众号。通过微信公众号搜索可以获取公众号的基本信息及最近发布的10条文章，之前写过一篇《Python 抓取微信公众号文章》，今天来抓取一下微信公众号的账号信息（→ 先看结果(2998条) ←）。…