前端卷Python啊

主要业务流程 初始请求 请求过滤器 请求队列 响应下载器 数据解析器 数据清洗器 存储器 设计图 https://rowin90.github.io/images/py/爬虫系统设计.drawio.p

IO模型 同步、异步、阻塞、非阻塞 同步IO与异步IO 同步IO 概念：导致请求进程阻塞的IO操作，直到IO操作任务完成 类型：BIO、NIO、IO多路复用 BIO：阻塞IO，发完请求后，一直等着 N

请求管理业务 请求去重管理:防止重复请求。(可以布隆过滤器) 请求缓冲管理:临时存储请求 常用数据结构：队列 Queue（常用）, 列表，字典，元组 请求调度管理:派遣并控制请求调度顺序，请求优先级管

消息队列 消息队列之真知灼见 消息队列中间件是分布式系统中重要的组件，主要解决应用解耦，异步消息，流量削锋等问题，实现高性能，高可用，可伸缩和最终一致性架构 rabbitmq 简单模式 生产者： 链接

什么是Celery 什么是Celery Celery是一个简单、灵活且可靠的，处理大量消息的分布式系统，专注于实时处理的异步任务队列，同时也支持任务调度。 分布式: 不同的相关组件，架构在不同的服务器

单线程和多线程 thread 生产者和消费者 为什么要用多进程 对比多进程和多线程使用 线程池（进程池） 池化后，可以解决线程or进程创建，销毁的性能开销 创建多线程，两种方式 pool.map 顺序