lxml：其实可以用pythonth自带的正则表达式库re，但是为了更加简单入门，用 lxml 中的 etree 进行网页数据定位爬取。 使用selenium+phantomjs无界面浏览器，这两者的结合其实就是直接操作浏览器，可以获取JavaScript渲染后的页面数据。 用…

2019年，可以说是中国电影的大年，众多国产巨制纷纷上映，让广大影迷们又再次看到了中国电影的希望，今天我们就用数据来说一说这堪称辉煌的2019中国影坛。 我们这里抓取的是猫眼专业版的实时票房数据，数据接口比较简单，我们唯一要注意的就是抓取速率，在没有速度的要求下，尽量别上多线程…

Flask 是 Python 开发的轻量 Web 框架，有多轻量呢？10 行以内就可以开发一个 Web 服务，不过这只能用来做演示，今天我就用 1 个小时来开发一个用于生产环境的短信微服务。以下是我们生产环境脱敏后直接可用的服务代码，绝非示例教程。 因为微服务环境下我们要减少代…

有一个非常简单的需求：编写一个 HTTP接口，使用 POST 方式发送一个 JSON 字符串，接口里面读取发送上来的参数，对其中某个参数进行处理，并返回。 代码看起来已经很简洁了。我们用requests发个请求看看效果，如下图所示： 看起来没什么问题。 不出所料，报错了。 又报…

源自于一个用Python写各种小游戏的github合集，star数1k。除了坦克大战外，还包含滑雪者、皮卡丘GOGO、贪吃蛇、推箱子、拼图等游戏。 帮助你快速生成属于自己的铅笔画，单色或是彩铅都可以。 用Python + ADB做的Python抖音机器人Douyin-Bot。帮…

QQ、微信斗图总是斗不过，索性直接来爬斗图网，我有整个网站的图，不服来斗。 因为要把每一套图存入一个文件夹中（os模块），文件夹的命名我就以每一套图的URL的最后的几位数字命名，然后文件从文件路径分隔出最后一个字段命名,具体看下边的截图。 欢迎关注我的微信公众号「码农突围」，分…

这次花了点时间，将百度智能云里面的人脸识别功能与python结合，进行了一场实验。结果还是蛮有成就感的，过程也挺简单，不会复杂，说不定，你就能融合出你孩子的长相了耶~ 下面我们一起敲起键盘吧！ 用你的百度账号登陆ai.baidu.com，百度AI开放平台。 因为每个账号的调用次…

我们即将与 2019 挥手作别，踏入崭新的 2020。一到年末，各个平台都在整理数据，出具一份属于自己平台的「年度报告」。而对于技术人而言，如果你是一位开源爱好者，GitHub 的年度报告就是你 2019 年的技术总结。 因此，这次年度报告我想主要针对这份「编码日历」，把你的「…

这种反爬虫手段被广泛应用在一线互联网企业的产品中，例如汽车资讯类网站、小说类网站等文字密度较大的站点。在开始学习之前，我们先来看看具体的现象。打开网址： 这次的任务，就是拿到页面上所呈现的内容的文本。在编写爬虫代码之前，我们要做几件事： 其实就是最基本的观察和分析。 一个 ht…