爬虫
4篇文章 · 0订阅
  • X-Forward-For 看破红尘，代理 IP 无所遁形
    在开始了解 X-Forward-For 之前，我们先来假设一个场景。你是一名爬虫工程师，现在要爬取目标网站 xxx.com 上面的内容。在编码的时候，你发现单位时间内请求频率过高时会被限制，猜测应该是目标网站针对 IP 地址做了限制。现在你有两种选择： 单机，用 IP 代理解决…
    Python 爬虫
  • 干货|Python大佬手把手带你破解哔哩哔哩网滑动验证（上篇）
    有爬虫经验的各位小伙伴都知道，正常我们需要登录才能获取信息的网站，是比较难爬的。原因就是在于，现在各大网站为了反爬，与爬虫机制斗智斗勇，一般的都加入了图片验证码、滑动验证码之类的干扰，让我们的爬虫半途折返。 本篇文章主要是针对哔哩哔哩的滑动验证码进行讲解和破解。 写这个文章之前…
    爬虫
  • 一线大厂在用的反爬虫手段，看我破！
    内容选自即将出版的《Python3 反爬虫原理与绕过实战》，本次公开书稿范围为第 6 章——文本混淆反爬虫。本篇为第 6 章中的第 3 小节 SVG 反爬虫，第 4 小节《用前考虑清楚，伤敌一千自损八百的字体反爬虫》已发，其余小节将逐步放送。 SVG 是用于描述二维矢量图形的一…
    Python 爬虫
  • 为什么每一个爬虫工程师都应该学习 Kafka
    这篇文章不会涉及到Kafka 的具体操作，而是告诉你 Kafka 是什么，以及它能在爬虫开发中扮演什么重要角色。 再来看看统计关键词的功能，这个功能背后有一个网页，会实时显示抓取数据量的变化情况，可以显示每分钟、每小时的某个关键词的抓取量。 最后一个需求，对微博数据进行情感分析…
    Python Kafka