这道题是我参加 Xman 三期夏令营选拔赛出的一道题，我们如何对其进行分析？ 首先我们从上面的数据包分析可以知道，这是个 USB 的流量包，我们可以先尝试分析一下 USB 的数据包是如何捕获的。 在开始前，我们先介绍一些 USB 的基础知识。 USB 有不同的规格，以下是使用 …

为啥要写这篇文章，就是为了让你上『最强王者』！ Scrapy的文章，好多好多，但是99%的文章都是，写完爬虫就完事儿了，至于后来怎么用？去哪里用？都没有交带。我这里就交代一种，可以把你的小虫子部署到服务器上！但是怎么部署， ，有几篇文章说，用Scrapyd，但是，他们都只是简单…

之前发了一篇爬取去哪儿自由行(可采集最少10万条数据)的文章后，有一个读者在后台问到我怎么爬取去哪儿酒店的数据。当时简单看了下,觉得难度不大。就跟他讲了下思路。因为当时爬取自由行的网站选取的是移动端。为了能让读者学习到更多的知识，我们今天选取了去哪儿的电脑端来进行爬取。其实爬虫…

最近在做 Sparrow（还在内测的一个敲好用 Mock 系统😁）的时候遇到了一个需求。Sparrow 服务器是使用 Django 2.0 编写的产品，所以本文所有的代码背景均为 Django 2.0 环境和 Python 3.6.3 语言，整体是 Vue + Django …

学任何一门技术，都应该带着目标去学习，目标就像一座灯塔，指引你前进，很多人学着学着就学放弃了，很大部分原因是没有明确目标，所以，在你准备学爬虫前，先问问自己为什么要学习爬虫。有些人是为了一份工作，有些人是为了好玩，也有些人是为了实现某个黑科技功能。不过 肯定的是，学会了爬虫，能…

接下来，我们会利用Scrapy-Redis来实现分布式的对接。 请确保已经成功实现了Scrapy新浪微博爬虫，Scrapy-Redis库已经正确安装。 要实现分布式部署，多台主机需要共享爬取队列和去重集合，而这两部分内容都是存于Redis数据库中的，我们需要搭建一个可公网访问的…

在本章和下一章里，我们将研究两种文件类型实例：Excel 文件和 PDF，并给出几条一般性说明，在遇到其他文件类型时可以参考。 处理 Excel 比上章讲的处理 CSV、JSON、XML 文件要难多了，下面以 UNICEF(联合国儿童基金会) 2014 年的报告为例，来讲解如何…

在Python中，装饰器一般用来修饰函数，实现公共功能，达到代码复用的目的。在函数定义前加上@xxxx，然后函数就注入了某些行为，很神奇！然而，这只是语法糖而已。 傻瓜解法无非是有太多代码冗余，每次函数调用都要写一遍logging。可以把这部分冗余逻辑封装到一个新函数里： 这个…

异步是继多线程、多进程之后第三种实现并发的方式，主要用于IO密集型任务的运行效率提升。python中的异步基于yield生成器，在讲解这部分原理之前，我们先学会异步库asyncio的使用。 本文主要讲解asyncio模块的通用性问题，对一些函数细节的使用就简单略过。 这样运行，…