简书上有哪些优质用户？有多少大V粉丝数上万，获赞数上万？小透明的自己能排到多少位？大V之间相互关注情况如何？签约作者有多少人...... 我想要了解这些问题，于是便有了本文。 以《简书=鸡汤？爬取今日看点数据：1916篇简书热门文章可视化》项目里获取的，贡献了1916篇热门文章…

修改 Markdown 的打开方式。由于我电脑安装 Marodown 编辑器是 Typora，所以脚本是 open -a "/Applications/Typora.app" ./coronavirus.md。修改这里的 ***.app 为自己的 ide

在前一章中，我们已经成功尝试分析Ajax来抓取相关数据，但是并不是所有页面都可以通过分析Ajax来完成抓取。比如，淘宝，它的整个页面数据确实也是通过Ajax获取的，但是这些Ajax接口参数比较复杂，可能会包含加密密钥等，所以如果想自己构造Ajax参数，还是比较困难的。对于这种页…

使用SpringBoot+Mybatis plus+Webmagic爬取51job的职位信息,并保存到mysql数据库. 后台就会开始爬取数据. 以上只是一个简单的使用WebMagic的爬虫案例.可以作为入门学习使用.

今天介绍一个妹子站点图片的爬取过程，站点唯美女生。站点结构非常简单，单独用requests库或者scrapy框架都可以。本文介绍的是使用scrapy框架爬取。 站点做的非常清新唯美，结构简洁明了，主页的主体部分以卡片形式展示各个主题的缩略图和简要介绍，但主页并不适合直接爬取。 …

以 BOSS 直聘为例，我们爬取数据基本是带着目的性的，比如爬取 哪个城市的招聘信息，爬取哪些岗位的招聘信息，爬取指定范围的信息( 分页 )，这些都可以当做一个粒度来建成任务，这样我们创建的任务将会尽可能地减少交集。 一般的网站为了用户体验，基本都会有筛选功能，而筛选功能就是我…

这是 Java 爬虫系列博文的第五篇，在上一篇 Java 爬虫服务器被屏蔽，不要慌，咱们换一台服务器 中，我们简单的聊反爬虫策略和反反爬虫方法，主要针对的是 IP 被封及其对应办法。前面几篇文章我们把爬虫相关的基本知识都讲的差不多啦。这一篇我们来聊一聊爬虫架构相关的内容。 线上…

我们在前面已经实现了Scrapy微博爬虫，虽然爬虫是异步加多线程的，但是我们只能在一台主机上运行，所以爬取效率还是有限的，分布式爬虫则是将多台主机组合起来，共同完成一个爬取任务，这将大大提高爬取的效率。 在了解分布式爬虫架构之前，首先回顾一下Scrapy的架构，如下图所示。 S…

1. 下载github的demo代码 2. 观察dmoz文件 3. 运行dmoz爬虫，观察现象 4. scrapy_redis的原理分析 5. 实现分布式爬虫