python爬虫

直接上代码，拿来就可用。 首先需要准备一个测试xml文件，我这个文件名字为text.xml； 然后使用以下代码来进行修改； 运行完毕之后，我们可以看到源文件内容变成了； 至此，本文结束。 更多内容请转

情景对话一： A：给我写个程序，我要实现什么什么 B：写好了，给你 A：运行失败了啊。。。 B：我看看 B：你这里没有安装xxx\xxx\xxx模块，你安装下就好了 A：这么麻烦？我这是内网，下载老麻

1、安装scrapy相关组件 如果在windows系统下，提示这个错误ModuleNotFoundError: No module named 'win32api'，那么使用以下命令可以解决：pip

1、scrapy初始 我们知道，写一个爬虫是比较费劲的，比如说发起请求、数据解析、反反爬虫机制、异步请求等。如果我们每次都手动去操作，就很麻烦。scrapy这个框架已经把一些基础的内容封装好了，我们可

1、查找自定义字体 基于什么样子的现状需要去查找自定义字体，这个都很清楚了吧，前文已经说的很清楚了。 那么既然是前端展示，那肯定是渲染到了前端代码中了，我们查看网页源代码即可查到，一般有两种方式； 1

1、描述 当我们爬取网站过多的时候，是不是会发现一种情况，就是说明明在网页看到了实际的数据，但是当你使用python爬虫爬取下来之后，数据就变成乱码了，识别不到是什么内容。 比如说我们看到了网页的数据

1、python识别图片中的中文字符-old 先来看下默认的情况下识别中文是什么样子的呢，比如我们要识别下图： 然后我们写出如下代码： 运行结果： 可以看到并没有识别出来，是乱码； 2、安装tesse

1、安装tesseract 这里我们使用Tesseract软件来进行识别，这个需要提前在你自己的电脑上安装，而后python通过调用该软件来进行识别，不同的平台，比如windows、linux、mac

1、selenium的cookie相关操作 有时候我们需要通过获取cookie来进行一些别的操作，这个时候我们如何对cookie进行相关操作呢？ 1.1、获取cookie 运行之后结果如下： 1.2、

1、selenium打开浏览器 打开浏览器就是初始化一下，然后发起一个请求，他就会自动调用浏览器，并访问这个地址： 2、selenium关闭某个标签页 当我们在一个浏览器中打开多个标签页的时候，想关闭

1、介绍 1.1、动态网页是什么？ 动态网页就是使用了Ajax技术的前端； Ajax即Asynchronous Javascript And XML（异步JavaScript和XML）在 2005年被

1、介绍 平台：斗图啦 语言：python 技术：python多线程、python安全队列、python之Xpath、正则、request 以上我们使用的技术，都是之前整理过的对不对，那么我们就根据之

1、python之Queue介绍 =================== Python中的queue模块中提供了同步的、线程安全的队列类，包括FIFO（先进先出）队列Queue，LIFO（后入先出）队

1、lock版本生产者和消费者 生产者和消费者是多线程开发中经常遇到的一个模式。生产者专门用来生产一些数据，然后存放到一个变量中。消费者再从这个变量中取出数据进行消费。因为中间经常是一些全局变量，故而

1、python之多线程threading封装 ========================== 我们可以将上一篇的代码进行封装，封装之后的代码： 运行结果如下： 我们可以看到，通过重写pytho

1、未使用python多线程技术 都说多线程是效率的提高，那么我们来做个对比吧，首先来看看未使用多线程之前是什么样子的吧，直接上代码： 运行结果如下： 从上面的结果来看，他运行了6秒钟，那么我们使用多

1、mysql数据搭建 这里可以参考下之前的文章，如下： 往期推荐 [ centos7/linux编译安装_mysql_8最新版 ](http://mp.weixin.qq.com/s?__biz=M

1、介绍 excel本身是有很多功能的，比如说格式调试，图表展示，公式计算等内容，但是对于我们在python爬虫中，我们关注的仅仅是纯数据，其他的格式内容，咱们暂时不提。 我们使用python操作ex

1、CSV文件的特征和规则 特征 CSV泛指具有以下特征的任何文件： 纯文本，使用某个字符集，比如ASCII、Unicode、EBCDIC或GB2312； 由记录组成（典型的是每行一条记录）; 每条记

1、json支持的数据格式 2、python字典和列表转换成json 方法： 示例： 运行结果如下： 有人说了，看起来不是差不多嘛，但是我们可以发现原来是list类型，现在变成了str，且所有的单引号