你好，我是悦创。 我接下来，把所有 Python pip 换源的方法，都整理下来。 第一种方法 打开 appdata 文件夹，在资源管理器的地址栏输入 %appdata% 后回车： 2. 新建一个 p

1.临时换源： 2.永久换源： pip换源的方式 PYPI国内源路径 阿里云 http://mirrors.aliyun.com/pypi/simple/ 豆瓣(douban) http://pypi

写了几年的python web，却还不知道WSGI是什么东西，是不是大有人在。 说来也正常，因为作为开发者很少需要去了解wsgi是什么，也能把网站做出来。 但是如果你想自己写个web框架玩玩，就不得不去了解wsgi了。 回顾一下，我们在用python做web开发的时候，一般基于…

需注意，Python2与Python3的import机制有较大差别，主要体现在两个节点，Python2.6之前(不包含2.6)使用relative import(相对导入)作为默认import机制，Python2.6之后(包含2.6)使用absolute import(绝对导入…

在 Python 众多的 HTTP 客户端中，最有名的莫过于requests、aiohttp和httpx。在不借助其他第三方库的情况下，requests只能发送同步请求；aiohttp只能发送异步请求；httpx既能发送同步请求，又能发送异步请求。 所谓的同步请求，是指在单进程…

在部署项目时，不可能直接将所有的信息都输出到控制台中，我们可以将这些信息记录到日志文件中，这样不仅方便我们查看程序运行时的情况，也可以在项目出现故障时根据运行时产生的日志快速定位问题出现的位置。 Python 标准库 logging 用作记录日志，默认分为六种日志级别（括号为级…

接下来，我们会利用Scrapy-Redis来实现分布式的对接。 请确保已经成功实现了Scrapy新浪微博爬虫，Scrapy-Redis库已经正确安装。 要实现分布式部署，多台主机需要共享爬取队列和去重集合，而这两部分内容都是存于Redis数据库中的，我们需要搭建一个可公网访问的…

我们在前面已经实现了Scrapy微博爬虫，虽然爬虫是异步加多线程的，但是我们只能在一台主机上运行，所以爬取效率还是有限的，分布式爬虫则是将多台主机组合起来，共同完成一个爬取任务，这将大大提高爬取的效率。 在了解分布式爬虫架构之前，首先回顾一下Scrapy的架构，如下图所示。 S…

很多朋友不知道Python爬虫怎么入门，怎么学习，到底要学习哪些内容。今天我来给大家说说学习爬虫，我们必须掌握的一些第三方库。 废话不多说，直接上干货。 1. requests requests库应该是现在做爬虫最火最实用的库了，非常的人性化。有关于它的使用我之前也写过一篇文章…