爬虫学习（从入门到入狱）

模拟浏览器登录 => 处理cookie Cookie 1、Cookie的定义 2、Cookie的主要功能 3、Cookie的属性 4、Cookie的处理（Session）

xpath认识 首先安装lxml模块 pip install lxml XPath 的选择功能十分强大，它提供了非常简洁明了的路径选择表达式。另外，它还提供了超过 100 个内建函数，用于字符串、数值

此次内容是爬取豆瓣音乐排行榜 主要利用了bs4的方法 步骤： 解析数据： 1、把页面源代码交给BeautifulSoup进行处理，生成bs对象 2、从bs对象中查找数据

尝试爬取“https://dytt89.com/”网站中2021必看热片 并提取其链接，以及该电影的下载链接

数据解析概述 1.re解析 re模块的使用 re.findall函数 re.search函数 re.match函数 re.sub函数 re.compile函数 re.split函数

初步了解爬虫 —— web请求全过程刨析 1.服务器渲染: 在服务器那边直接把数据和HTML整合在一起,统一返回给浏览器; 在页面源代码中,能够看到数据! 2.客户端渲染: 第一次请求只要HTML骨架