一个网页是否更新，是很多爬虫开发人员都会碰到的问题，如果只是一次性抓取来使用，那这个问题无关紧要，抓一遍完事，但是工程中的爬虫通常需要长期运行，如果内容更新，需要及时抓取。 这是一个常见的获取更新内容的思路，这种方式无状态，傻瓜式的，我并不需要知道网页到底更新哪些内容，我只要每…

只要是用WordPress的人或多或少都会装几个插件，可以用来丰富扩展WordPress的各种功能。围绕WordPress平台的插件和主题已经建立了一个独特的经济生态圈和开发者社区，养活了众多的WordPress相关的开发公司和开发者。各种强大的WordPress插件也层出不穷…

如果我们从一个大 V 开始，首先可以获取他的个人信息，然后我们获取他的粉丝列表和关注列表，然后遍历列表中的每一个用户，进一步抓取每一个用户的信息还有他们各自的粉丝列表和关注列表，然后再进一步遍历获取到的列表中的每一个用户，进一步抓取他们的信息和关注粉丝列表，循环往复，不断递归，这样就可以做到一爬百，百爬万，万爬百万，通过社交关系自然形成了一个爬取网，这样就可以爬到所有的用户信息了。

今天要搞定的验证码属于现在使用非常多的验证码的一种类型---极验证滑动验证码，关于这个验证码的详细说明查阅他的官网，https://www.geetest.com/ 把验证码做到这个地步，必须点赞了。 官方DEMO最新的效果如下，按照验证码的更新频率，基本博客看完，验证码也更新…

字体反爬也就是自定义字体反爬，通过调用自定义的字体文件来渲染网页中的文字，而网页中的文字不再是文字，而是相应的字体编码，通过复制或者简单的采集是无法采集到编码后的文字内容的。 现在貌似不少网站都有采用这种反爬机制，我们通过猫眼的实际情况来解释一下。 这是什么鬼，关键信息全是乱码…

网上有许多代理ip，免费的、付费的。大多数公司爬虫会买这些专业版，对于普通人来说，免费的基本满足我们需要了，不过免费有一个弊端，时效性不强，不稳定，所以我们就需要对采集的ip进行一个简单的验证。 本文主要针对西刺代理，这个网站很早之前用过，不过那个时候它还提供免费的api，现在…

上周的pdd很多人说看了还不会找，都找我要写一篇来教教如何扣代码的，那就应大家要求，今天来写一篇详细的扣代码过程，完全从零到一，如果对你有帮助，还望大力分享，这样我会越写越多。 代码都放在我的Github上，还没有star的感觉star了，哈哈，可能今周会更新别的网站，由于网站…

我们的目标就是把这互联网搞的更乱更臭，所以我们是不被规则束缚的。今天要拿来开刀的，是邮件系统。 垃圾邮件，很多人都深受其害，但我们今天并不是要搞它。以相反的方式进行思考，我们并不讨厌它，而且欢迎它的到来。比如，我要批量注册一万个github账号。github通过邮箱验证就算注册…