首页
首页
沸点
课程
直播
活动
竞赛
商城
APP
插件
搜索历史
清空
创作者中心
写文章
发沸点
写笔记
写代码
草稿箱
会员
登录
举报沸点
请选择举报理由
和话题不符
恶意攻击谩骂
广告营销
dwzb
关注
私信
获得徽章 0
动态
文章
专栏
沸点
收藏集
0
关注
赞
0
文章 0
沸点 0
资讯 0
赞
0
关注
返回
|
搜索文章
文章
热门
最新
dwzb
4年前
Python
后端
爬虫
python异步asyncio模块的使用
异步是继多线程、多进程之后第三种实现并发的方式,主要用于IO密集型任务的运行效率提升。python中的异步基于yield生成器,在讲解这部分原理之前,我们先学会异步库asyncio的使用。 本文主要讲解asyncio模块的通用性问题,对一些函数细节的使用就简单略过。 这样运行,…
1.1w
15
评论
dwzb
4年前
Python
IPython
jupyterlab——下一代notebook
介绍jupyterlab的高效使用方法
8809
14
1
dwzb
4年前
Python
单元测试
后端
python线程数量与线程池
首先声明,1个线程分5个的想法是不行的,因为每个线程运行时间带有随机性,如果任务平均分配,则很可能出现一个线程还在苦苦工作,而另一个线程已经完成,却无法帮助前一个线程分担的情况,这无疑会降低运行效率。 所以比较好的方法是维护一个队列,两个线程都从中获取任务,直到把这个队列中的任…
8704
16
1
dwzb
4年前
安全
Python
后端
列表与队列——谈谈线程安全
当多个线程同时进行,且共同修改同一个资源时,我们必须保证修改不会发生冲突,数据修改不会发生错误,也就是说,我们必须保证线程安全。 同时我们知道,python中由于GIL的存在,即使开了多线程,同一个时间也只有一个线程在执行。 那么这是否就说明python中多个线程执行时,不会发…
7275
25
2
dwzb
4年前
后端
Python
产品
PyCon 2018: SVD推荐系统在Python中的实践
继搜索引擎之后,推荐系统改变了用户与网站之间的交互方式,在提高用户参与度和多样化推荐产品方面有重要的应用。亚马逊有35%的利润来源于它的推荐系统,Netflix有75%的用户根据推荐系统选择电影。 推荐系统是一个非常大的话题,本文介绍一种常用的基于模型的协同过滤算法——SVD(…
6599
51
评论
dwzb
4年前
爬虫
后端
GitHub
多线程爬虫实现(上)
爬虫主要运行时间消耗是请求网页时的io阻塞,所以开启多线程,让不同请求的等待同时进行,可以大大提高爬虫运行效率。 本文基于多线程(这里开启了10个线程),使用github的api,抓取fork cpython项目的所有5千多个项目信息,将数据存储到json文件中。 抓取gith…
4444
45
评论
dwzb
4年前
后端
Windows
Python
Manager进程之间共享数据
在多进程中,每一个进程都有自己的变量拷贝,所以主进程中的一个变量传入其他进程修改,得到的结果仍然存储于那个进程中,主进程中这个变量其实相当于没有被修改过。为了能让其他进程的修改能够同步到主进程上来,需要创建能在多个进程之间共享的变量。 x l都没有被改变,因为它们是放在其他进程…
4391
4
评论
dwzb
4年前
Python
python多线程之从Thread类继承
上一篇文章提过Thread对象可以调用start join run等方法,其实当时调用start就自动调用了run。这里只不过是在新类中重写了run方法,线程调用start时就会自动执行这个run 上面代码实现10个线程抓取豆瓣top250网站10页的电影名,通过__init_…
3090
15
1
dwzb
4年前
Python
安全
后端
python线程通信与生产者消费者模式
本文主要讲解生产者消费者模式,它基于线程之间的通信。 生产者消费者模式是指一部分程序用于生产数据,一部分程序用于处理数据,两部分分别放在两个线程中来运行。 我们可以想象到,这种情况不使用并发机制(如多线程)是难以实现的。如果程序线性运行,只能做到先把所有url抓取到列表中,再遍…
2240
53
评论
dwzb
4年前
Python
爬虫
爬虫代码改进(二)|多页抓取与二级页面
爬虫基础教程
2801
21
评论
个人成就
文章被点赞
647
文章被阅读
95,688
掘力值
2,610
关注了
0
关注者
1,134
收藏集
0
关注标签
1
加入于
2018-02-23
温馨提示
当前操作失败,如有疑问,可点击申诉