Kaito

在做 Python 开发时，我们经常会遇到以双下划线开头和结尾的方法，例如 __init__、__new__、__getattr__、__setitem__ 等等，这些方法我们通常称之为「魔法方法」，而使用这些「魔法方法」，我们可以非常方便地给类添加特殊的功能。 由于魔法方法分…

在 Python 开发中，我们经常会看到使用装饰器的场景，例如日志记录、权限校验、本地缓存等等。 这篇文章我们就来分析一下，Python 装饰器的使用及原理。 在介绍装饰器前，我们需要理解一个概念：在 Python 开发中，一切皆对象。 就是我们在开发中，无论是定义的变量（数字…

上一篇文章：Scrapy 源码剖析（三）Scrapy 有哪些核心组件？，我们已经分析了 Scrapy 核心组件的主要职责，以及它们在初始化时都完成了哪些工作。 这篇文章就让我们来看一下，也是 Scrapy 最核心的抓取流程是如何运行的，它是如何调度各个组件，完成整个抓取工作的。…

在上一篇文章：Scrapy 源码剖析（二）Scrapy 是如何运行起来的？，我们主要剖析了 Scrapy 是如何运行起来的核心逻辑，也就是在真正执行抓取任务之前，Scrapy 都做了哪些工作。 这篇文章，我们就来进一步剖析一下，Scrapy 有哪些核心组件？以及它们主要负责了哪…

在上篇文章：Scrapy源码分析（一）架构概览，我们主要从整体上了解了 Scrapy 的架构和数据流转，并没有深入分析每个模块。从这篇文章开始，我将带你详细剖析 Scrapy 的运行原理。 这篇文章，我们先从最基础的运行入口来讲，来看一下 Scrapy 究竟是如何运行起来的。 …

在爬虫开发领域，使用最多的主流语言主要是 Java 和 Python 这两种，如果你经常使用 Python 开发爬虫，那么肯定听说过 Scrapy 这个开源框架，它正是由Python编写的。 Scrapy 在开源爬虫框架中名声非常大，几乎用 Python 写爬虫的人，都用过这个…

由于之前一直在做爬虫采集相关的开发，这个过程那肯定少不了跟「代理 IP」打交道，这篇文章就来记录一下，如何实现一个爬虫代理服务，本篇文章主要以讲解思路为主。 做过爬虫的人应该都知道，抓的网站和数据多了，如果爬虫抓取速度过快，免不了触发网站的防爬机制。而这些网站应对爬虫的办法，几…