了解了CDP协议之后，记录如何使用该协议通过selenium去做自动化，来捕获分析浏览器的网络请求。

一．背景 1．当前UI自动化面临的问题 难以使用一套工具对移动端、web端、桌面端进行自动化测试 2. 版本更新页面改动较大，自动化脚本的维护成本高 3. 图片内容难以验证 2．解决方案 用图像识别方

想开发网页爬虫，发现被反爬了？想对 App 抓包，发现数据被加密了？不要担心，使用 Airtest 开发 App 爬虫，只要人眼能看到，你就能抓到，最快只需要2分钟，兼容 Unity3D、Cocos2dx-*、Android 原生 App、iOS App、Windows Mob…

本篇博客开始，我们将涉足手机 APP 采集领域，这部分的知识我们主要以分析核心接口，编写针对接口的突破代码为主。 这里

随着社交媒体的普及，微博已经成为了人们获取信息和展示自我的重要平台之一。而微博热搜榜更是体现了人们关注的焦点和话题。因此，获取微博热搜榜的API接口也成为了数据挖掘和分析的重要手段。 本文介绍的API

最近做了一个APP，微博登录后超级话题自动签到。在抓取登录接口时，发现有的账号在登录时需要手势验证，于是研究了一下微博手势验证的算法。历时三天，终于成功了。 第一步，在账号登录前，需要判断账号是否需要手势验证。有些账号不需要验证，直接就允许登录，而有些账号则需要验证。 第二步，…

很多时候，在爬取没有登录的情况下，我们也可以访问一部分页面或请求一些接口，因为毕竟网站本身需要做SEO，不会对所有页面都设置登录限制。 但是，不登录直接爬取会有一些弊端，弊端主要有以下两点。 设置了登录限制的页面无法爬取。如某论坛设置了登录才可查看资源，某博客设置了登录才可查看…

马哥原创，淄博烧烤分析大屏，含：词云图、玫瑰图、柱形图、折线图、地图等图表，jieba分词、snownlp情感分析、stopwords停用词、flask网页服务等技术。

hello，小伙伴们，大家好，今天给大家分享的开源项目是：weiboSpider，看名字也可以猜到这个项目是做什么的了！没错，这个开源项目就是采集新浪微博一个或多个用户（如：胡歌、迪丽热巴、郭碧婷）数据，并将结果信息写入文件或数据库，写入信息几乎包括用户微博的所有数据，包括用户…