一休哥哥哥哥

本文为你展示，如何用Python把许多PDF文件的文本内容批量提取出来，并且整理存储到数据框中，以便于后续的数据分析。 最近，读者们在后台的留言，愈发五花八门了。 我能体会到读者的心情。 我展示的例子中，文本数据都是直接可以读入数据框工具做处理的。它们可能来自开放数据集合、网站…

随着wepy和mpvue的出现及流行，开发小程序变的越来越便捷和强大，作为基佬社区的一份子，我们都需要把自己遇到的问题以及如何解决的方式相互分享，这样才能帮助到更多的朋（ji）友（lao）。如有写的不足的地方，请各位提出宝贵的建议哈。 众所周知，小程序是一种不需要下载安装即可使…

Redis是一个基于内存的高效的键值型非关系型数据库，存取效率极高，而且支持多种存储数据结构，使用也非常简单。本节中，我们就来介绍一下Python的Redis操作，主要介绍RedisPy这个库的用法。 1. 准备工作 在开始之前，请确保已经安装好了Redis及RedisPy库。…

在前一章中，我们已经成功尝试分析Ajax来抓取相关数据，但是并不是所有页面都可以通过分析Ajax来完成抓取。比如，淘宝，它的整个页面数据确实也是通过Ajax获取的，但是这些Ajax接口参数比较复杂，可能会包含加密密钥等，所以如果想自己构造Ajax参数，还是比较困难的。对于这种页…

用Splash做页面抓取时，如果爬取的量非常大，任务非常多，用一个Splash服务来处理的话，未免压力太大了，此时可以考虑搭建一个负载均衡器来把压力分散到各个服务器上。这相当于多台机器多个服务共同参与任务的处理，可以减小单个Splash服务的压力。 1. 配置Splash服务 …

本节我们来用TensorFlow来实现深度学习模型，用来实现验证码识别的过程，这里我们识别的验证码是图形验证码，首先我们会用标注好的数据来训练一个模型，然后再用模型来实现这个验证码的识别。 可以看到图中的文字正是我们所定义的text内容，这样我们就可以得到一张图片和其对应的真实…

我们在做爬虫的过程中经常会遇到这样的情况，最初爬虫正常运行，正常抓取数据，一切看起来都是那么美好，然而一杯茶的功夫可能就会出现错误，比如403 Forbidden，这时候打开网页一看，可能会看到“您的IP访问频率太高”这样的提示。出现这种现象的原因是网站采取了一些反爬虫措施。比…

上一篇文章提过Thread对象可以调用start join run等方法，其实当时调用start就自动调用了run。这里只不过是在新类中重写了run方法，线程调用start时就会自动执行这个run 上面代码实现10个线程抓取豆瓣top250网站10页的电影名，通过__init_…

MySQL 的基础知识分享。