运维家

1、python之多线程threading封装 ========================== 我们可以将上一篇的代码进行封装，封装之后的代码： 运行结果如下： 我们...

1、未使用python多线程技术 都说多线程是效率的提高，那么我们来做个对比吧，首先来看看未使用多线程之前是什么样子的吧，直接上代码： 运行结果如下： 从上面的结果来看，他...

1、mysql数据搭建 这里可以参考下之前的文章，如下： 往期推荐 [ centos7/linux编译安装_mysql_8最新版 ](http://mp.weixin.qq...

1、介绍 excel本身是有很多功能的，比如说格式调试，图表展示，公式计算等内容，但是对于我们在python爬虫中，我们关注的仅仅是纯数据，其他的格式内容，咱们暂时不提。 ...

1、CSV文件的特征和规则 特征 CSV泛指具有以下特征的任何文件： 纯文本，使用某个字符集，比如ASCII、Unicode、EBCDIC或GB2312； 由记录组成（典型...

1、json支持的数据格式 2、python字典和列表转换成json 方法： 示例： 运行结果如下： 有人说了，看起来不是差不多嘛，但是我们可以发现原来是list类型，现在...

1、python匹配以什么什么开头 方法： 示例： 输出结果如下： 2、python匹配以什么什么结尾 方法： 示例： 输出结果如下： 3、python匹配多个表达式或者字...

1、介绍 又称规则表达式。（英语：Regular Expression，在代码中常简写为regex、regexp或RE），计算机科学的一个概念。正则表达式通常被用来检索、替...

1、爬取流程梳理 （1）整体定位 首先我们要知道爬取的是哪个界面，界面的样式是什么； （2）范围定位 我们需要爬取的是，每一个地区的下面省份天气； （3）大致定位 每一个省...

1、find和find_all 相同点 在提取数据的时候，第一个参数是标签的名字，如果后面还想有其他参数作为过滤的方式而存在，可以通过关键字的形式来传输，比如'class_...

1、BeautifulSoup4是干啥的 BeautifulSoup是一个可以从HTML或XML文件中提取数据的Python库，它通过转换器实现文档导航,查找,修改文档的方...

1、特殊处理点 需要注意一个问题，之前我们取值的时候，都是一行一行读取的，然后从中获取关键字，那么如果是下面的情况呢？ 可以看到一个电影里面往往有很多个演员，这种时候我们如...

1、爬取流程梳理 （1）整体定位 首先我们要知道爬取的哪个页面的哪些内容，如下图： （2）范围定位 然后我们看下它对应的html代码是什么，如下图： 那么我们可以先拿取到这...

1、Lxml安装 或者使用国内地址进行加速下载： 2、介绍 可以补全Html代码 可以准确定位数据 可以读取文件中的代码 官方地址：https://lxml.de/inde...

1、安装xpath 推荐主流浏览器：Google浏览器 点击Google浏览器的扩展程序，然后再点击左上角的三个横杠，在弹出的页面中点击左下角的打开Chrome网上应用商店...

1、安装requests 2、python发送get请求 （1）发送简单请求 输出为一个网页的html代码； （2）添加Header 输出为一个网页的html代码； （3）...

1、使用python模拟登录博客园 （1）介绍 CookieJar：管理HTTP cookie值、存储HTTP请求生成的cookie、向传出的HTTP请求添加cookie的...

1、python爬虫代理 （1）检测网站 我们在测试的时候，如何知道我们是通过代理访问的呢？这个时候我们需要使用一个检测网站，地址如下： 这个网站就是专门用来做检测用的，他...

1、urlencode函数 示例： 输出内容为： 上面的实际上已经满足了我们浏览器发起请求的需求了，那么放在实际中如何进行呢？如下： 使用如上方式即可完整的模拟我们使用浏览...