最近有一个朋友刚入手了 Mac，准备专门搞开发用，让我给他推荐几款软件，然后我就把我的 Launchpad 截图发给了他，他看到这密密麻麻的软件完全不知所措，如下图。 1. 日常工具 一些日常工具在这里我就不一一列举了，大部分使用 Mac 的小伙伴都会安装，比如 QQ、微信、C…

昨天的时候我参加了掘金组织的一场 Python 网络爬虫主题的分享活动，主要以直播的形式分享了我从事网络爬虫相关研究以来的一些经验总结，整个直播从昨天下午 1 点一直持续到下午 5 点，整整四个小时。 整个分享分为三个阶段，第一阶段先介绍了自己从大学以来从事编程开发以来的相关历…

“一个程序员写了个爬虫程序，整个公司200多人被端了。” 刚从朋友听到这个消息的时候，我有点不太相信，做为一名程序员来讲，谁还没有写过几段爬虫呢？只因写爬虫程序就被端有点夸张了吧。 朋友说，消息很确认并且已经进入等待审判阶段了。 朋友认识几个律师朋友，和他们有一些业务来往，得知…

题目要求：这里有一个网站，分了1000页，求所有数字的和。注意，是人看到的数字，不是网页源码中的数字哦~ 一般来说字体文件的数字就是这样的顺序 1 2 3 4 5 6 7 8 9 0 ，以这个为模板，被修改后的字体中的数字 2 处与 正常字体 中 9 的位置。回到网页源码和内容…

最近听旁边几个开发都在聊买车的事情，于是到汽车之家的论坛踩了一踩....基于程序员的惯性，顺溜的就摁下了F12，就看到了这?这岂不是做了字体反爬的手段嘛，于是故事就开始了。 从输出结果，我们可以发现，其中有一些编码，但是先将这个问题放一边。 现在我们来看重点问题，就是如何破解字…

爬虫之前，需要先对网站请求进行梳理，F12 打开浏览器的开发者模式是第一步，所以反爬虫的第一招就是，在开发者模式下让对手的浏览器进入 无限循环 debugger 。 今天继续百度 “带有JS混淆加密的网站怎么破解”，看到一篇文章正打算参考测试时，浏览器就陷入了无限循环，两步之后…

为了更好保护我们的数据与程序安全. 以及他们的一些反检测的方法. 一般来说,如果是无头浏览器模式下, navigator.webdriver 会返回 true. 直接删掉webdriver属性,这是我目前验证成功的方法. 目前其他网上找到的方法已经无效. 如果是Puppetee…

目前，许多网站采取了各种各样的措施来反爬虫，通常一个网站都会使用下面的多种反爬，越是数据价值高的网站反爬做的越复杂。常见的反爬措施及解决方案如下： 这是网站最基本的反爬措施，也是最容易实现的反爬，但是破解起来也容易，只需要合理添加请求头即可正常访问目标网站获取数据。 服务器会检…

本人从这2个角度（网页所见非所得、查接口请求没用）出发，制定了下面的反爬方案。 根据业务需要根据 SQL 语句生成对应的数据。如果是数字部分，则需要按照上面约定的方法加以转换。 然后为了防止爬虫人员查看 JS 研究问题，所以对 JS 的文件进行了加密处理。如果你的技术栈是 Vu…