python开发

今天咱们来扯一扯分布式进程爬虫，对爬虫有所了解的都知道分布式爬虫这个东东，今天我们来搞懂一下分布式这个概念，从字面上看就是分开来布置，确实如此它是可以分开来运作的。 分布式进程就是将进程分布到多台机器上去，充分利用每一台机器来完成我们的爬虫任务。分布式进程需要用到multipr…