背景: 房租到期了。 需求: 找到便宜，交通便利的房源，了解当前租房行情，便于砍价。 在爬取58，赶集，链家，安居客的数据时，被封是常事，基于此，fork并修改了两个库。用于抓取免费代理ip，用于支持爬取租房数据。 注意：租房网站的数据，大概率失真，仅做参考。 本文只介绍Scr…

今天是Python专题的第9篇文章，我们来聊聊Python的函数式编程与闭包。 函数式编程这个概念我们可能或多或少都听说过，刚听说的时候不明觉厉，觉得这是一个非常黑科技的概念。但是实际上它的含义很朴实，但是延伸出来许多丰富的用法。 在早期编程语言还不是很多的时候，我们会将语言分…

所有的应用程序都需要存储和检索信息。进程运行时，它能够在自己的存储空间内存储一定量的信息。然而，存储容量受虚拟地址空间大小的限制。对于一些应用程序来说，存储空间的大小是充足的，但是对于其他一些应用程序，比如航空订票系统、银行系统、企业记账系统来说，这些容量又显得太小了。 第二个…

当一个计算机是多道程序设计系统时，会频繁的有很多进程或者线程来同时竞争 CPU 时间片。当两个或两个以上的进程/线程处于就绪状态时，就会发生这种情况。如果只有一个 CPU 可用，那么必须选择接下来哪个进程/线程可以运行。操作系统中有一个叫做 调度程序(scheduler) 的角…

尽管基址寄存器和变址寄存器用来创建地址空间的抽象，但是这有一个其他的问题需要解决：管理软件的膨胀(managing bloatware)。虽然内存的大小增长迅速，但是软件的大小增长的要比内存还要快。在 1980 年的时候，许多大学用一台 4 MB 的 VAX 计算机运行分时操作…

分布式缓存方面，redis勇夺花魁。但对于消息队列mq来说，还处于百花齐放的年代。 缓存系统，基本上解决一个存取问题，就万事大吉了，调用是同步的。对于消息队列来说，就不太一样。它的使用场景多样，可靠级别多变，从生产端到消费端，过程是异步的。 消息系统的设计要点，有很多。现在，很…

周末晚上，正在家里面看综艺节目，突然女朋友跑过来找我打《王者荣耀》。 打了几把游戏，终于可以歇息一会了，准备继续看我的综艺，可是女朋友过来找我给他讲讲到底什么是二阶段提交。 还好我们之前专门给女朋友介绍过什么是分布式，要不然这个话题说来就话长了。 在之前介绍分布式的时候，我们以…

REmote DIctionary Server(Redis) 是一个由SalvatoreSanfilippo写的key-value存储系统。 Redis是一个开源的使用ANSI C语言编写、遵守BSD协议、支持网络、可基于内存亦可持久化的日志型、Key-Value数据库，并提…

Redis本质上是一个Key-Value类型的内存数据库，很像memcached，整个数据库统统加载在内存当中进行操作，定期通过异步操作把数据库数据flush到硬盘上进行保存。因为是纯内存操作，Redis的性能非常出色，每秒可以处理超过 10万次读写操作，是已知性能最快的Key…