为了更好保护我们的数据与程序安全. 以及他们的一些反检测的方法. 一般来说,如果是无头浏览器模式下, navigator.webdriver 会返回 true. 直接删掉webdriver属性,这是我目前验证成功的方法. 目前其他网上找到的方法已经无效. 如果是Puppetee…

获取到数据之后，我们需要存储到数据库中，以便于后续使用。因为后面准备使用 Flask 来搭建 API 服务，所以这里存储数据的过程也基于 Flask 来做，用插件 flask_sqlalchemy。 下面再来做热榜详情接口，该接口可以返回热榜热度走势信息，为前端画图提供数据。 …

PyAutoGUI 不知道你有没有用过，它是一款用Python自动化控制键盘、鼠标的库。但凡是你不想手动重复操作的工作都可以用这个库来解决。 比如，我想半夜时候定时给发个微信，或者每天自动刷页面等操作，它能完全模拟手动操作，而你可以安心的刷剧了。 嗯，懒惰是程序员的美德。 通过…

除了用爬虫去获取Twitter之外，还有一个简单稳定的方案就是通过官方的API，不过最近Twitter官方比较严格，很难申请开放平台很难通过。好在笔者之前申请过一个Twitter的开发者账号。 目前，Twitter 的API做了限制，只能获取到最近的3200条的推文，实际获取到…

很多朋友不知道Python爬虫怎么入门，怎么学习，到底要学习哪些内容。今天我来给大家说说学习爬虫，我们必须掌握的一些第三方库。 废话不多说，直接上干货。 1. requests requests库应该是现在做爬虫最火最实用的库了，非常的人性化。有关于它的使用我之前也写过一篇文章…

有很多朋友问我学习了Python后，有没有什么好的项目可以练手。 其实，做项目主要还是根据需求来的。但是对于一个初学者来说，很多复杂的项目没办法独立完成，因此博主挑选了一个非常适合初学者的项目，内容不是很复杂，但是非常有趣，我相信对于初学者小白来说是再好不过的项目了。 这个项目…

一看到这个，密密麻麻的数字和字母，就猜应该是被加密了，不过可以复制下来看看有没有用。接下来看下他的Response，咦，这是个json，不是html结构的，所以需要用到Json库来进行解析 现在开始敲代码吧，先把上面的两个参数复制过来看看。 可以看到，利用json.loads(…

通过分析我们发现主要用的参数有三个productId，page，pageSize。后两个为分页参数，productId是每个商品的id，通过这个id去获取商品的评价记录，所以我们只需要知道每个商品的productId就轻而易举的获取评价了。再来分析搜索页面的网页源代码 通过分析…

事情的起源是这样的，某个风和日丽的下午... 习惯性的打开知乎准备划下水，看到一个问题刚好邀请回答 于是就萌生了采集下某招聘网站Python岗位招聘的信息，看一下目前的薪水和岗位分布，说干就干。 先说下数据采集过程中遇到的问题，首先请求头是一定要伪装的，否则第一步就会给你弹出你…