运维家

1、BeautifulSoup4是干啥的 BeautifulSoup是一个可以从HTML或XML文件中提取数据的Python库，它通过转换器实现文档导航,查找,修改文档的方式。 和lxml一样，Bea

1、特殊处理点 需要注意一个问题，之前我们取值的时候，都是一行一行读取的，然后从中获取关键字，那么如果是下面的情况呢？ 可以看到一个电影里面往往有很多个演员，这种时候我们如果再根据关键字演员来筛选的话

1、爬取流程梳理 （1）整体定位 首先我们要知道爬取的哪个页面的哪些内容，如下图： （2）范围定位 然后我们看下它对应的html代码是什么，如下图： 那么我们可以先拿取到这块代码，它对应的XPath路

1、Lxml安装 或者使用国内地址进行加速下载： 2、介绍 可以补全Html代码 可以准确定位数据 可以读取文件中的代码 官方地址：https://lxml.de/index.html 3、使用Lxm

1、安装xpath 推荐主流浏览器：Google浏览器 点击Google浏览器的扩展程序，然后再点击左上角的三个横杠，在弹出的页面中点击左下角的打开Chrome网上应用商店，如下图所示： 然后在里面搜

1、安装requests 2、python发送get请求 （1）发送简单请求 输出为一个网页的html代码； （2）添加Header 输出为一个网页的html代码； （3）添加请求参数 输出为一个网页

1、使用python模拟登录博客园 （1）介绍 CookieJar：管理HTTP cookie值、存储HTTP请求生成的cookie、向传出的HTTP请求添加cookie的对象。整个cookie都存储

1、python爬虫代理 （1）检测网站 我们在测试的时候，如何知道我们是通过代理访问的呢？这个时候我们需要使用一个检测网站，地址如下： 这个网站就是专门用来做检测用的，他有多种访问形式，可以来返回我

1、urlencode函数 示例： 输出内容为： 上面的实际上已经满足了我们浏览器发起请求的需求了，那么放在实际中如何进行呢？如下： 使用如上方式即可完整的模拟我们使用浏览器来发起相关请求了； 2、p