我们需要识别出敏感作者的avatar头像,把”皮卡丘“换成”优雅的python“。 检查两个图片的相似度，一个简单而快速的算法：感知哈希算法(Perceptual Hash)，通过某种提取特征的方式为每个图片计算一个指纹（哈希），这样对比两个图片相似与否就变成了对比两个指纹异同…

字体反爬也就是自定义字体反爬，通过调用自定义的字体文件来渲染网页中的文字，而网页中的文字不再是文字，而是相应的字体编码，通过复制或者简单的采集是无法采集到编码后的文字内容的。 现在貌似不少网站都有采用这种反爬机制，我们通过猫眼的实际情况来解释一下。 这是什么鬼，关键信息全是乱码…

为什么要学 scrapy 呢？看下图，就清楚了。很多招聘要求都有 scrapy，主要是因为 scrapy 确实很强。那到底强在哪里呢？请在文中找答案。 首先我们先来学习一下 scrapy 的工作流程。scrapy 文档地址 1、爬虫引擎获得初始请求开始抓取。 2、爬虫引擎开始请…

2. selenium chrome headless 模式获取页码 (需要安装selenium以及配置chrome driver) 中行网站上有四种不同的牌价(现汇买入价,现钞买入价,现汇卖出价,现钞卖出价,中行折算价), 中行折算价暂时先不考虑。 现汇买入价——是指账户内的…

随着 Python 和大数据的火热，大量的工程师蜂拥而上，爬虫技术由于易学、效果显著首当其冲的成为了大家追捧的对象，爬虫的发展进入了高峰期，因此给服务器带来的压力则是成倍的增加。企业或为了保证服务的正常运转或为了降低压力与成本，不得不使出各种各样的技术手段来阻止爬虫工程师们毫无…

在评论区偶然看到一位读者说可不可以用微信实现一下。然后最近刚好在做微信机器人的小项目，那就把这个定时任务放到微信上去做吧，说干就干，撸了一下午终于撸出来了。 为了防止占用你的微信号，你和你的爱人添加我的微信后。你发送指定内容，我将会每天帮你发送消息

1. 36氪(36kr)数据----写在前面 36kr 让一部分人先看到未来，而你今天要做的事情确实要抓取它的过去。 2. 36氪(36kr)数据----数据分析 在多次尝试之后，发现per_page最大可以扩展到300，但是当大于100的数据，返回的数据并不是很理想，所以，我…

现在的爬虫越来越难了，不再和之前的那样，随便抓个包就可以找到相关的 url ，然后 post 一下或者 get 一下数据就出来了。还有一个可能就是可能你以前用来学习的爬虫网站太简单了，还没有看见过那些猛的。上两周我就想弄弄知乎登陆，参数的加密算是把 js 代码扣出来了，但是只能…