scrapy是由Python语言开发的一个快速、高层次的屏幕抓取和web抓取框架，用于抓取web站点并从页面中提取结构化的数据。 scrapy用途广泛，可以用于数据挖掘、监测和自动化测试。 scrapy最吸引人的地方在于它是一个框架，任何人都可以根据需求方便的修改。它也提供了多…

在本讲中，我们开始首页功能的开发，在开发过程中，大家将会学习到Django中的通用视图类、分页对象paginator以及foreignKey外键的使用。 大家可先通过 网站演示地址 浏览一下首页的效果。我们首页呢，比较简洁大方，让人一目了然。我这样设计的目的呢，是让大家把精力放…

从今天开始，我们将开始进入Python的难点，那就是协程。 为了写明白协程的知识点，我查阅了网上的很多相关资料。发现很难有一个讲得系统，讲得全面的文章，导致我们在学习的时候，往往半知半解，学完还是一脸懵逼。 学习协程的第一门课程，是要认识生成器，有了生成器的基础，才能更好地理解…

ORM，即Object-Relational Mapping（对象关系映射），它的作用是在关系型数据库和业务实体对象之间作一个映射，ORM 为关系型数据库提供了高级的抽象，它使得开发人员不必写 SQL，只需写代码就能在数据库中创建、读取、更新和删除数据。开发人员能使用他们熟悉的…

本文主要译自：learn-blockchains-by-building-one ，原文flask运行有问题，对代码进行调整，使用Django运行。代码文章下网盘链接。对数字货币的崛起感到新奇的我们，并且想知道其背后的技术——区块链是怎样实现的。

虚拟环境的意义，就如同 虚拟机 一样，它可以实现不同环境中Python依赖包相互独立，互不干扰。这在一定程度的意义上，给了我们的项目一份很有力的保障。在这里，我把它戏称为「保险」。全网唯一。 举个例子吧。 假设我们的电脑里有两个项目，他们都用到同一个第三方包，本来一切都顺利。但…

1. 验证码的作用 防论坛灌水：这个是很常见的。有一种程序叫做顶帖机，如果无限制的刷，整个论坛可能到处是拉圾信息，比如，百度贴吧 ，你只要是新用户或者刚刚关注的贴吧，要是发帖，会马上出现验证码。 防刷票，网上有很多投票类的网站. ####2. 验证码的原理 验证码于服务器端生成…

有句非常经典的话：“进程是资源分配的最小单位，线程则是CPU调度的最小单位”。 New(新建)，新创建的线程进过初始化，进入Runnable(就绪)状态。 Runnable(就绪)，等待线程调度，调度后进入Running(运行)状态。 Waiting状态，等待其他线程notif…

GNE: 新闻网页正文通用抽取器更新了0.2.1版本，大幅度提高了正文的提取速度。在开发这个版本的时候，我遇到了一个非常奇怪的 Bug，最终发现是由于垃圾回收机制和内存重用机制导致的。今天我们来看看这个问题。 这段代码读取tests/163/9.html这个文件里面的 HTML…