一个不错的微信公众号爬虫方案

当 F12 里查看器是看不到视频地址，如何爬取视频网站。

今天盘点 6 个爬虫开源项目，它们可以帮你爬天爬地怕空气，爬微博、爬B站、爬知乎、爬*站。 提前声明，切勿使用这些项目从事非法商业活动，仅用于用于科研学习!

接下来，我们会利用Scrapy-Redis来实现分布式的对接。 请确保已经成功实现了Scrapy新浪微博爬虫，Scrapy-Redis库已经正确安装。 要实现分布式部署，多台主机需要共享爬取队列和去重集合，而这两部分内容都是存于Redis数据库中的，我们需要搭建一个可公网访问的…

要想获取微信公众号的爬虫，首先要唯一标识这个微信公众号，所以要获取这个微信公众号的id值(即__biz)。看了比较多的相关文章，很多获取__biz的值比较机械，单纯手动复制取__biz；现在搜狗引擎与微信公众号对接，为我们提供了一个很好的获取途径，微信公众号源码里面有该号的__…

mitmproxy 是 man-in-the-middle proxy 的简称，译为中间人代理工具，可以用来拦截、修改、保存 HTTP/HTTPS 请求。以命令行终端形式呈现，操作上类似于Vim，同时提供了 mitmweb 插件，是类似于 Chrome 浏览器开发者模式的可视化…

通过Scrapy，我们可以轻松地完成一个站点爬虫的编写。但如果抓取的站点量非常大，比如爬取各大媒体的新闻信息，多个Spider则可能包含很多重复代码。 如果我们将各个站点的Spider的公共部分保留下来，不同的部分提取出来作为单独的配置，如爬取规则、页面解析方式等抽离出来做成一…

知乎现在改用 https 请求了，数据加密，但是问题不大，重要的是网页数据改动了，而且在请求时后台会对爬虫做一些判断，因此在每次请求是都需要加上 request header，尽可能接近浏览器请求的样子。

详细介绍请看gayhub,更新周期大约是一个月，本文是基于 v1.4.0写的，大致api是通用的。 本文总结了Puppeteer爬虫的主要用法。我的目标是，有了这篇文章，日常的一般爬虫使用就不需要去看官方文档了。 cnpm i -S puppeteer 用cnpm安装没有试过报…