昨天的时候我参加了掘金组织的一场 Python 网络爬虫主题的分享活动，主要以直播的形式分享了我从事网络爬虫相关研究以来的一些经验总结，整个直播从昨天下午 1 点一直持续到下午 5 点，整整四个小时。 整个分享分为三个阶段，第一阶段先介绍了自己从大学以来从事编程开发以来的相关历…

背景: 房租到期了。 需求: 找到便宜，交通便利的房源，了解当前租房行情，便于砍价。 在爬取58，赶集，链家，安居客的数据时，被封是常事，基于此，fork并修改了两个库。用于抓取免费代理ip，用于支持爬取租房数据。 注意：租房网站的数据，大概率失真，仅做参考。 本文只介绍Scr…

应该是在去年的时候，刷知乎看到一个问题，大概是说怎么刷网易云音乐个人累计听歌数，然后有一个高赞回答，贴了一段js代码，直接在浏览器console执行就可以了。当时试了下，直接一下子刷了有好几万。悲剧的是，第二天又回到原来的样子了，很明显这种方式被网易云音乐发现封掉了。而且后续网…

之前的一篇文章 爬虫爬了下知乎上的神回复，已笑趴～ 发布后，引发了大家热烈的反响。很多朋友觉得很神奇，私下问强哥是怎么做到的，有的朋友还表示不太相信。其实爬取知乎神回复很简单，这篇文章我们就来揭晓一下背后的原理。 知乎神回复都有些什么特点呢？我们先来观察一下。 大家看出什么规律…

解析书籍名称，作者，排名，推荐程度和五星评分次数数据。 我们等会可以通过这个变量来实现多页加载数据。 我们使用 requests 来请求当当网的地址,定义一个get_one_page，将会返回 HTML 源代码。

当然，不排除有些比较有毅力的同学，把所有url都拿到，然后拼到命令行中，就像我曾经在工作中见过某同事在项目做完后，一行一行的去删console.log()，为的是线上版本的控制台不出现打印的信息，得说下我们使用webpack打包的，这在打包的时候添加一个配置就能解决的问题，我们…

本文将分别使用 Python ，Golang 以及 GraphQuery 来解析某网站的 素材详情页面 ，这个页面的特色是具有清晰的数据结构，但是DOM结构不够规范，无法通过单独的选择器定位页面元素，对页面的解析造成了一些曲折。通过这个页面的解析过程，深入浅出的了解爬虫的解析思…

最近在学Python，所以用Python写了这个12306抢票脚本，分享出来，与大家共同交流和学习，有不对的地方，请大家多多指正。话不多说，进入正题： 这个脚本目前只能刷一趟车的，人数可以是多个，支持选取作为类型等。 最后：就是坐等刷票结果就好了，如下图这样，就说是刷票成功了，…

每年逢年过节，一票难求读者肯定不陌生。这篇文章，我们带领读者从零实现一款12306刷票软件，其核心原理还是通过发送http请求模拟登录12306网站的购票的过程，最后买到票。 关于http请求的格式和如何组装http数据包给服务器发送请求，我们在上一篇文章《从零实现一个http…