异步爬虫async web crawlerasync--异步将异步从yieled写法中解放出来. await 用于具体的

async--异步将异步从yieled写法中解放出来.

async一般用于方法或者条件语句前面，用于表明当前条件语句内部或者方法内部存在异步函数

await 用于具体的操作前面，表明当前操作为异步操作。

Aiohttp推荐使用ClientSession作为主要的接口发起请求。ClientSession允许在多个请求之间保存cookie以及相关对象信息。
Session(会话)在使用完毕之后需要关闭，关闭Session是另一个异步操作，所以每次你都需要使用async with关键字。
要让程序正常跑起来需要将他们加入时间循环中，因此要创建asyncio loop实例，然后将任务加入其中。

import random
import aiohttp
import asyncio
import async_timeout
from urllib.parse import urljoin, urldefrag  #如果url包含一个片段标识符，则urldefrag返回一个没有片段标识符的修改过的url，并且这个片段标识符作为单独的字符串。
                                             #如果url中没有片段标识符，则返回未修改的url和一个空字符串。


from fake_useragent import UserAgent

ua = UserAgent()  #随机生成用户代理

root_url = "人人都是产品经理 | 产品经理、产品爱好者学习交流平台"
page  = random.randint(1,50)
crawled_urls, url_hub = [], ["http://www.woshipm.com/category/it/page/%s" % (page), "http://www.woshipm.com/category/pd/page/%s" % (page), "http://www.woshipm.com/category/pmd/page/%s" % (page)]
headers = {'user-agent': ua.random}

async def get_body(url):
    async with aiohttp.ClientSession() as session:
        try:
            with async_timeout.timeout(10):
                async with session.get(url, headers=headers) as response:
                    if response.status == 200:
                        html = await response.text()
                        return {'error': '', 'html': html}
                    else:
                        return {'error': response.status, 'html': ''}
        except Exception as err:
            return {'error': err, 'html': ''}

async def handle_task(task_id, work_queue):
    while not work_queue.empty():
        queue_url = await work_queue.get()
        if not queue_url in crawled_urls:
            crawled_urls.append(queue_url)
            body = await get_body(queue_url)
            if not body['error']:
                for new_url in get_urls(body['html']):
                    if root_url in new_url and not new_url in crawled_urls:
                        work_queue.put_nowait(new_url)
            else:
                print(f"Error: {body['error']} - {queue_url}")

def remove_fragment(url):
    pure_url, frag = urldefrag(url)
    return pure_url

def get_urls(html):
    new_urls = [url.split('"')[0] for url in str(html).replace("'",'"').split('href="')[1:]]
    return [urljoin(root_url, remove_fragment(new_url)) for new_url in new_urls]

if __name__ == "__main__":
    q = asyncio.Queue()
    [q.put_nowait(url) for url in url_hub]    
    loop = asyncio.get_event_loop()
    tasks = [handle_task(task_id, q) for task_id in range(3)]
    loop.run_until_complete(asyncio.wait(tasks))
    loop.close()
    for u in crawled_urls:
        print(u)
    print('-'*30)
    print(len(crawled_urls))

返回结果如下：