zone7739

由于我本身的朋友圈大多都在广州、深圳，因此，早就有挺多小伙伴叫我分析一下广州的租房价格现状，这不，文章就这样在众多呼声中出炉了。然后，此次爬虫技术也升级了，完善了更多细节。源码值得细细探究。此次分析采集了广州 11 个区，23339 条数据，如下图： 其中后半部分地区数据量偏少…

OK，通过签名两篇文章《爬虫利器初体验（1）》《听说你的爬虫又被封了？（2）》，我们初体验也过了，爬虫代码健壮性也升级为 PLUS 了。都分析到这个地步了，是不是感觉还少了点什么？对，我们还没保存数据呀？不保存，这不是瞎忙活吗？ item 是我们保存数据的容器，其类似于 pyt…

上一篇文章《爬虫利器初体验（1）》中，我们举了个简单的栗子，但是在真实的开发中这样的爬虫代码很容易就会被封掉。那么怎么样才能避免这些事发生呢？这一这篇文章我们一起来学习，如何健壮我们的爬虫代码。 当 start_urls 未被指定，会调用 start_requests() ,该…

2018 是忙碌的一年，匆匆走过，有收获有遗憾。今天是最后一天了，不写点啥，总感觉我的 2018 少了点什么。年终总结这个习惯从 2016 年开始，算是对这一年往事的一点总结与尊敬吧。前两年的年终总结都在简书平台，这里就不搬运了。 你要我回想一下 2018 具体做了什么？我确实…

为什么要学 scrapy 呢？看下图，就清楚了。很多招聘要求都有 scrapy，主要是因为 scrapy 确实很强。那到底强在哪里呢？请在文中找答案。 首先我们先来学习一下 scrapy 的工作流程。scrapy 文档地址 1、爬虫引擎获得初始请求开始抓取。 2、爬虫引擎开始请…

今天这篇是三大数据库的结尾篇，前面两篇分别是：《Python 数据库骚操作 -- MongoDB》《Python 数据库骚操作 -- Redis》，这篇主要介绍 MySQL 的 orm 库 SQLAlchemy 。那什么是 orm 呢？Object Relational Map…

前面一篇文章介绍了 MongoDB 的库，我把 MySQL 放在了最后面，这篇文章继续介绍 Redis 的操作。Redis支持五种数据类型：string（字符串），hash（哈希），list（列表），set（集合）及zset(sorted set：有序集合)。接下来会简单介绍一…

首先介绍一款 MongoDB 的 GUI 工具 Robo 3T，初学 MongoDB 用这个来查看数据真的很爽。可以即时看到数据的增删改查，不用操作命令行来查看。 可能大家都对 PyMongo 比较熟悉了，这里就简单介绍它的增删改查等操作。 如果你是我的老读者，那么你肯定知道我…

》介绍了二叉树的相关知识。《LeetCode 102 && 429 广度优先遍历 )》这篇做了一些关于广度优先遍历的题，那么今天就来做做深度优先遍历的题。请看题： 给定一个二叉树，找出其最大深度。 二叉树的深度为根节点到最远叶子节点的最长路径上的节点数。 说明: 叶子节点是指没…