dwzb

异步是继多线程、多进程之后第三种实现并发的方式，主要用于IO密集型任务的运行效率提升。python中的异步基于yield生成器，在讲解这部分原理之前，我们先学会异步库asyncio的使用。 本文主要讲解asyncio模块的通用性问题，对一些函数细节的使用就简单略过。 这样运行，…

介绍jupyterlab的高效使用方法

首先声明，1个线程分5个的想法是不行的，因为每个线程运行时间带有随机性，如果任务平均分配，则很可能出现一个线程还在苦苦工作，而另一个线程已经完成，却无法帮助前一个线程分担的情况，这无疑会降低运行效率。 所以比较好的方法是维护一个队列，两个线程都从中获取任务，直到把这个队列中的任…

当多个线程同时进行，且共同修改同一个资源时，我们必须保证修改不会发生冲突，数据修改不会发生错误，也就是说，我们必须保证线程安全。 同时我们知道，python中由于GIL的存在，即使开了多线程，同一个时间也只有一个线程在执行。 那么这是否就说明python中多个线程执行时，不会发…

继搜索引擎之后，推荐系统改变了用户与网站之间的交互方式，在提高用户参与度和多样化推荐产品方面有重要的应用。亚马逊有35%的利润来源于它的推荐系统，Netflix有75%的用户根据推荐系统选择电影。 推荐系统是一个非常大的话题，本文介绍一种常用的基于模型的协同过滤算法——SVD（…

爬虫主要运行时间消耗是请求网页时的io阻塞，所以开启多线程，让不同请求的等待同时进行，可以大大提高爬虫运行效率。 本文基于多线程（这里开启了10个线程），使用github的api，抓取fork cpython项目的所有5千多个项目信息，将数据存储到json文件中。 抓取gith…

在多进程中，每一个进程都有自己的变量拷贝，所以主进程中的一个变量传入其他进程修改，得到的结果仍然存储于那个进程中，主进程中这个变量其实相当于没有被修改过。为了能让其他进程的修改能够同步到主进程上来，需要创建能在多个进程之间共享的变量。 x l都没有被改变，因为它们是放在其他进程…

上一篇文章提过Thread对象可以调用start join run等方法，其实当时调用start就自动调用了run。这里只不过是在新类中重写了run方法，线程调用start时就会自动执行这个run 上面代码实现10个线程抓取豆瓣top250网站10页的电影名，通过__init_…

本文主要讲解生产者消费者模式，它基于线程之间的通信。 生产者消费者模式是指一部分程序用于生产数据，一部分程序用于处理数据，两部分分别放在两个线程中来运行。 我们可以想象到，这种情况不使用并发机制（如多线程）是难以实现的。如果程序线性运行，只能做到先把所有url抓取到列表中，再遍…

爬虫基础教程