Python

BeautifulSoup库 地址：https://beautifulsoup.readthedocs.io/zh-cn/v4.4.0/ 1、BeautifulSoup4安装 在windows系统下通

Requests库 1、requests库安装 测试案例： 2、Requests库的两个重要对象 3、Requests库的异常 r.raise_for_status(): 如果不是200，产生异常re

https 协议在爬虫逻辑中的位置关系： http 和 https 的概念 ● HTTP：超文本传输协议，默认端口号是80 ○ 超文本：是指超过文本，不仅限于文本；还包括图片、音频、视频等文件 ○ 传

常见得反爬方法 反爬得原因 爬虫占总PV(PV是指页面的访问次数，每打开或刷新一次页面，就算做一个pv)比例较高，这样浪费钱。 不强制登录的网站，可以爬取大批量的数据，会导致网站访问量降低，失去竞争力