Python
2篇文章 · 0订阅
  • 多线程爬虫实现（上）
    爬虫主要运行时间消耗是请求网页时的io阻塞，所以开启多线程，让不同请求的等待同时进行，可以大大提高爬虫运行效率。 本文基于多线程（这里开启了10个线程），使用github的api，抓取fork cpython项目的所有5千多个项目信息，将数据存储到json文件中。 抓取gith…
    爬虫 后端 GitHub
  • PyCon 2018 之 Python 未来的依赖管理工具 pipenv
    Kenneth Reitz 出品，必属精品。 『上古时代』的 Pythonist 是这样安装依赖包的。 这个问题初看起来不是问题，但是随着你安装程序的增多就知道有多么痛苦了。 后来，我们是这样安装包的。 我们可以直接从 pypi 进行安装了。但尼玛，为什么 easy_insta…
    Node.js 后端 NPM
    PyCon 2018 之 Python 未来的依赖管理工具 pipenv