dwzb

0关注

1,133关注者

赞

0

更多

文章

3年前

python异步asyncio模块的使用

异步是继多线程、多进程之后第三种实现并发的方式，主要用于IO密集型任务的运行效率提升。python中的异步基于yield生成器，在讲解这部分原理之前，我们先学会异步库asyncio的使用。本文主要讲解asyncio模块的通用性问题，对一些函数细节的使用就简单略过。这样运行，…

1.0w
13
评论

3年前

jupyterlab——下一代notebook

介绍jupyterlab的高效使用方法

7979
13
1

3年前

python线程数量与线程池

首先声明，1个线程分5个的想法是不行的，因为每个线程运行时间带有随机性，如果任务平均分配，则很可能出现一个线程还在苦苦工作，而另一个线程已经完成，却无法帮助前一个线程分担的情况，这无疑会降低运行效率。所以比较好的方法是维护一个队列，两个线程都从中获取任务，直到把这个队列中的任…

7526
15
1

3年前

PyCon 2018: SVD推荐系统在Python中的实践

继搜索引擎之后，推荐系统改变了用户与网站之间的交互方式，在提高用户参与度和多样化推荐产品方面有重要的应用。亚马逊有35%的利润来源于它的推荐系统，Netflix有75%的用户根据推荐系统选择电影。推荐系统是一个非常大的话题，本文介绍一种常用的基于模型的协同过滤算法——SVD（…

5662
48
评论

3年前

列表与队列——谈谈线程安全

当多个线程同时进行，且共同修改同一个资源时，我们必须保证修改不会发生冲突，数据修改不会发生错误，也就是说，我们必须保证线程安全。同时我们知道，python中由于GIL的存在，即使开了多线程，同一个时间也只有一个线程在执行。那么这是否就说明python中多个线程执行时，不会发…

5769
25
2

3年前

多线程爬虫实现（上）

爬虫主要运行时间消耗是请求网页时的io阻塞，所以开启多线程，让不同请求的等待同时进行，可以大大提高爬虫运行效率。本文基于多线程（这里开启了10个线程），使用github的api，抓取fork cpython项目的所有5千多个项目信息，将数据存储到json文件中。抓取gith…

3975
45
评论

3年前

Manager进程之间共享数据

在多进程中，每一个进程都有自己的变量拷贝，所以主进程中的一个变量传入其他进程修改，得到的结果仍然存储于那个进程中，主进程中这个变量其实相当于没有被修改过。为了能让其他进程的修改能够同步到主进程上来，需要创建能在多个进程之间共享的变量。 x l都没有被改变，因为它们是放在其他进程…

3882
4
评论

3年前

python线程通信与生产者消费者模式

本文主要讲解生产者消费者模式，它基于线程之间的通信。生产者消费者模式是指一部分程序用于生产数据，一部分程序用于处理数据，两部分分别放在两个线程中来运行。我们可以想象到，这种情况不使用并发机制（如多线程）是难以实现的。如果程序线性运行，只能做到先把所有url抓取到列表中，再遍…

1881
54
评论

3年前

python多线程之从Thread类继承

上一篇文章提过Thread对象可以调用start join run等方法，其实当时调用start就自动调用了run。这里只不过是在新类中重写了run方法，线程调用start时就会自动执行这个run 上面代码实现10个线程抓取豆瓣top250网站10页的电影名，通过__init_…

2510
15
1

3年前

爬虫代码改进(二)|多页抓取与二级页面

爬虫基础教程

2356
21
评论

个人成就

文章被点赞639

文章被阅读80,838

加入于

2018-02-23