大家在读 爬虫系列 的帖子时常常问我怎样写出不阻塞的爬虫，这很难，但可行。通过实现一些小策略可以让你的网页爬虫活得更久。那么今天我就将和大家讨论这方面的话题。

尽管 classmethod 和 staticmethod 非常相似，但在用法上依然有一些明显的区别。classmethod 必须有一个指向 类对象 的引用作为第一个参数，而 staticmethod 可以没有任何参数。

客户端基于 Electron, 由 Vue 配合 Vuex 实现实现渲染进程, 使用 Node 实现后台进程; 后端技术栈由 Node + Koa (提供 API 接口) 和 Python + Urllib + Beautiful (爬取数据) 与 MongoDB (存储数据) 构建; GitHub 地址为: https://github.com/HuQingyang/Luoo.qy

这篇文章主要讨论关于 Python 中 import 的机制与实现、以及介绍一些有意思的 Python Hooks。

用仿真实验学习 Python 协程

最近工作任务需要把原来使用Kettle的ETL流程迁移到Hadoop平台上，就需要找一个替代Kettle工作流部分的工具。在大数据环境下，常用的无非是Oozie，Airflow或者Azkaban。经过简单的评估之后，我们选择了轻量化的Airflow作为我们的工作流工具。 Air…

当使用 pandas 操作小规模数据（低于 100 MB）时，性能一般不是问题。而当面对更大规模的数据（100 MB 到数 GB）时，性能问题会让运行时间变得更漫长，而且会因为内存不足导致运行完全失败。 尽管 Spark 这样的工具可以处理大型数据集（100 GB 到数 TB）…