python爬虫中多线程的实现方式

在日常爬虫工作中，我们有时候会使用单线程或多线程，单线程和多线程进行数据抓取结果还是大有不同的。当单线程python爬虫已经不能满足企业需求时，很多程序员会进行改代码或者增加服务器数量，这样虽说也能达到效果，但是对于人力物力也是一笔不小的消耗。如果是技术牛点的，正常都会自己重新改写多线程代码来实现海量数据的获取。但是要值得注意的事，如果多线程没调配好可能连单线程的效率都比不上。本次就和大家一起聊一聊单线程多线程的一些需要注意的事项。 知识点 线程也叫轻量级进程，是操作系统能够进行运算调度的最小单位，它被包含在进程之中，是进程中的实际运作单位。线程自己不拥有系统资源，只拥有一点在运行中必不可少的资源，但它可与同属的一个进程的其它线程共享进程所拥有的全部资源。一个线程可以创建和撤销另一个线程，同一进程中的多个线程之间可以并发执行。这里简单的举例下单线程和多线程之间的差别 单线程

import time


def task(url):
    s = url.split('_')[-1]
    time.sleep(int(s)) #这里模拟请求等待


urls = ['url_1', 'url_2', 'url_3']
start = time.time()
for url in urls:
    task(url)
end = time.time()
print(end - start)

# 6.013520002365112

多线程

import threading
import time


def task(url):
    s = url.split('_')[-1]
    time.sleep(int(s))


ts = []
urls = ['url_1', 'url_2', 'url_3']
start = time.time()

for url in urls:
    t = threading.Thread(target=task, args=(url,))
    t.start()
    ts.append(t)

for t in ts:
    t.join()


end = time.time()
print(end - start)

# 3.005527973175049

这时候我们就能看到多线程的优势了，虽然多线程只是在各线程来回切换，但是可以让IO堵塞的时间切换到其他线程做其他的任务，很适合爬虫或者文件的操作。接下来我们通过python实现豆瓣网采集，增加多线程处理，同时对豆瓣返回的内容进行分类统计

import asyncio
import aiohttp
import threading
from collections import Counter

# 定义一个全局变量，用于存储分类结果
categories = Counter()

# 定义一个函数，用于根据文本内容进行分类
def classify(text):
    # 这里可以使用任何文本分类的方法，例如正则表达式、机器学习等
    # 这里为了简单起见，只使用了简单的字符串匹配
    if "Python" in text:
        return "Python"
    elif "Java" in text:
        return "Java"
    elif "C++" in text:
        return "C++"
    else:
        return "Other"

async def fetch_page(url, proxy):
    # 创建一个 aiohttp 的 ClientSession 对象，并指定代理IP和端口
    async with aiohttp.ClientSession(proxy=proxy) as session:
        # 使用 session.get 方法发送请求，并获取响应对象
        async with session.get(url) as response:
            # 返回响应的文本内容
            return await response.text()

async def main():
    urls = ["https://www.douban.com//s?wd=" + str(i) for i in range(10)] # 生成十个豆瓣搜索网址
    
    # 假设有一个文件 16yun.txt，每行存储一个代理host和端口，例如 www.16yun.cn:3333
    # 读取文件中的所有代理，并存储在一个列表中
    with open("16yun.txt") as f:
        proxies = [line.strip() for line in f]
    
    tasks = [] # 创建一个空列表，用于存储 task 对象
    
    # 遍历 urls 和 proxies 列表，为每个 url 配对一个 proxy，并创建 task 对象
    for url, proxy in zip(urls, proxies):
        task = asyncio.create_task(fetch_page(url, proxy))
        tasks.append(task)
    
    results = await asyncio.gather(*tasks) # 同时运行所有 task 并获取结果
    
    # 创建一个线程池，用于执行分类任务
    pool = threading.ThreadPoolExecutor(max_workers=4)
    
    for result in results:
        print(result[:100]) # 打印每个网页的前 100 个字符
        
        # 使用线程池提交一个分类任务，并更新全局变量 categories
        category = pool.submit(classify, result).result()
        categories[category] += 1
    
    # 关闭线程池并等待所有任务完成
    pool.shutdown(wait=True)
    
    # 打印最终的分类结果
    print(categories)

asyncio.run(main()) # 运行主协程