阅读 150

感受python异步爬虫的强大(gevent、async、await)

网络爬虫,这种io高密集型的应用由于大部分的时间在等待响应方面,所以CPU的使用率一直不高,速度也不快,为了解决这些问题,我们使用异步的方式来进行爬虫程序。

串行的时候,如果我们要爬一个网站,那么我们通常都是一页的内容完成了,再到下一页,这样的话,CPU的90%以上的时间用在了等待网页响应上面。

异步的话,我们可以同时发起多个请求,一个请求发起了之后就不等待这个请求的响应,马上发起第二个请求,第三个请求...... 然后响应过来的内容我们再一个个进行处理,这样的效率就高了很多。

举个栗子: 首先我们搭建一个flask的服务器,故意降低它的响应速度:

from flask import Flask
import time

app = Flask(__name__)

@app.route('/')
def hello_world():
    # 休眠三秒,展示异步的速度
    time.sleep(3)
    return 'Hello World!'

if __name__ == '__main__':
    app.run(threaded=True)
复制代码

首先我们使用python 3.5以上版本的async、await以及异步http请求库aiohttp:

import asyncio
import time
import aiohttp

start = time.time()

async def get(url):
    async with aiohttp.ClientSession() as session:
        async with session.get(url) as res:
            print(res.status)
            text = await res.text()
            return text

async def hello():
    url = "http://127.0.0.1:5000/"
    print('Waiting for',url)
    res = await get(url)
    print('Result:',res)

loop = asyncio.get_event_loop()
tasks = [asyncio.ensure_future(hello()) for i in range(5)]
loop.run_until_complete(asyncio.wait(tasks))

end = time.time()
print('Cost time:',end-start)
复制代码

使用python的第三方库:gevent也可以实现网络异步(主要用于python2的版本):

from gevent import monkey
# 猴子补丁一定要先打,不然就会报错
monkey.patch_all()
import gevent
import requests
import time


def get(url):
    print("Get from: ",url)
    r = requests.session()
    res = r.get(url)
    print(res.status_code,url,res.text)

def synchronous_times(url):
    start = time.time()
    for i in range(5):
        get(url)
    end = time.time()
    print("同步执行的时间:", start-end)

def asynchronous_times(url):
    start = time.time()
    gevent.joinall([gevent.spawn(get,url) for i in range(5)])
    end = time.time()
    print("异步执行的时间:", start-end)

synchronous_times("http://127.0.0.1:5000/")
asynchronous_times("http://127.0.0.1:5000/")
复制代码

以上就使用aiohttp、genvent实现了异步的网络请求。

文章分类
后端
文章标签