在开始了解 X-Forward-For 之前，我们先来假设一个场景。你是一名爬虫工程师，现在要爬取目标网站 xxx.com 上面的内容。在编码的时候，你发现单位时间内请求频率过高时会被限制，猜测应该是目标网站针对 IP 地址做了限制。现在你有两种选择： 单机，用 IP 代理解决…

内容选自即将出版的《Python3 反爬虫原理与绕过实战》，本次公开书稿范围为第 6 章——文本混淆反爬虫。本篇为第 6 章中的第 3 小节 SVG 反爬虫，第 4 小节《用前考虑清楚，伤敌一千自损八百的字体反爬虫》已发，其余小节将逐步放送。 SVG 是用于描述二维矢量图形的一…

于是乎，我再次转战 Boss 直聘，我就是想看看，到底什么工种比较好找工作呢。当然了，这里工作种类实在是太多了，我就挑选出 Python，Java，数据分析和产品经理这四种岗位来做下简单的分析。 我在前面就写过一篇获取 Boss 数据的文章，可以戳这里查看（查看）。但是后面有人…

事情是这样的，最近认识的一位小姐姐有每天早晨看天气预报的习惯。在我看来，很多人起床第一件事情就是看微信消息，既然这样，我就勉为其难每天早晨给小姐姐发送一则天气预报吧。 开始几天，我是使用很原始的方法，自己去获取天气预报截图，再手动发送给小姐姐。连续几天之后我一想：不对呀，我怎么…

2019 年底开始蔓延的新型肺炎疫情牵动人心，作为个体，我们力所能及的就是尽量待在家中少出门。 看到一些朋友叫设计同学帮忙给自己的头像戴上口罩，作为技术人，心想一定还有更多人有这样的诉求，不如开发一个简单的程序来实现这个需求，也算是帮助设计姐姐减少工作量。 关于人脸识别，可以使…

闲鱼上，很多卖家选择在平台上卖虚拟商品，大部分虚拟商品的交易方式都是通过网盘链接来完成交易。 在很多时候，商品被买家拍下并付款后，都需要一段时间的等待，一直到卖家看到消息后才能完成发货，这样显得商品的交易效率很低下。 那能不能做到「自动发货、自动上新」，全程自动化操作发货呢？答…

正则表达式（正则、regular、re）是 Python 中最常见的编程技巧，很多时候，一个好的正则表达式可以抵上几十行代码。比如：匹配（校验）邮箱、身份证、手机号、IP地址、URL、HTML等。 正则表达式，其实就是一串特殊的字符序列，而这串字符序列蕴含着事先定义好的 模式 …

应用最广的python2.7,以及新版python3.6等。 安装普遍使用的virtualenv工具。 virtualenv 是一个创建隔绝的Python环境的 工具。可随时创建一个干净的python环境，可随时删除任一创建的python环境，且不会影响到主机的python环境…