近期，有些朋友问我一些关于如何应对反爬虫的问题。由于好多朋友都在问，因此决定写一篇此类的博客。把我知道的一些方法，分享给大家。博主属于小菜级别，玩爬虫也完全是处于兴趣爱好，如有不足之处，还望指正。 在互联网上进行自动数据采集（抓取）这件事和互联网存在的时间差不多一样长。今天大众…

前几天给大家分享了利用Python网络爬虫抓取微信朋友圈的动态（上）和利用Python网络爬虫爬取微信朋友圈动态——附代码（下），并且对抓取到的数据进行了Python词云和wordart可视化，感兴趣的伙伴可以戳这篇文章：利用Python词云和wordart可视化工具对朋友圈数…

一看到这个，密密麻麻的数字和字母，就猜应该是被加密了，不过可以复制下来看看有没有用。接下来看下他的Response，咦，这是个json，不是html结构的，所以需要用到Json库来进行解析 现在开始敲代码吧，先把上面的两个参数复制过来看看。 可以看到，利用json.loads(…

前言先说明，本文是水文，跟Python也没关系的，写着Python，是因为jb用py写爬虫比较多；本文只是简单介绍个网站如何爬虫的思路，文章很短，1分钟看完，没啥特别的，完~讲故事啦为什么要说这事，是

昨天的时候我参加了掘金组织的一场 Python 网络爬虫主题的分享活动，主要以直播的形式分享了我从事网络爬虫相关研究以来的一些经验总结，整个直播从昨天下午 1 点一直持续到下午 5 点，整整四个小时。 整个分享分为三个阶段，第一阶段先介绍了自己从大学以来从事编程开发以来的相关历…

关于手机抓包（这里指 Android 手机），推荐使用 Fiddler 工具来抓包，Fiddler 自行去下载。 因为微信的网络请求为 HTTPS ，安全性高，所以 Fiddler 需要在手机端安装它的信任证书，才能抓到微信的请求（比喻：Fiddler 充当代理人、中间商，在建…

在这个用数据说话的时代，能够打动人的往往是用数据说话的理性分析，无论是对于混迹职场的小年轻，还是需要数据进行分析和研究的同学，能够找到合适的数据源都是非常重要的。特别是想要对一个新的领域进行研究和探索，拥有这个领域的数据那都是有十分重要的意义的。