网络爬虫学习总结

数据提取 什么是数据提取？ 简单的来说，数据提取就是从相应中获取我们想要的数据的过程 数据分类 ⾮结构化数据：HTML 处理⽅法：正则表达式、xpath 结构化数据：json、xml 处理⽅法：转化为

将cookie转为字典 请求SSL证书验证 SSL证书验证: HTTPS = HTTP + SSL 设置超时 配合状态码判断是否请求成功 编解码 retrying

网络爬虫靶场: https://spiderbuf.cn/list https://scrape.center/ 为什么要学习requests,而不是urllib? requests的底层实现就是ur

1. 爬虫介绍 数据的来源: 企业生产的用户数据 数据管理咨询公司 政府/机构提供的公开数据 第三方数据平台购买数据 爬虫爬取数据 爬虫的定义: 网络爬虫(又被称为网页蜘蛛,网络机器人)就是模拟客户端