如何进行手机APP的数据爬取?

871 阅读3分钟

平时我们的爬虫多是针对网页的,但是随着手机端APP应用数量的增多,相应的爬取需求也就越来越多,因此手机端APP的数据爬取对于一名爬虫工程师来说是一项必备的技能。我们知道,网页爬取的时候我经常使用F12开发者工具或者fiddler之类的工具来帮助我们分析浏览器行为。那对于手机的APP该如何使用呢?同样的,我们也可以使用fiddler来分析。好了,本篇博主将会给大家介绍如何在电脑端使用fiddler进行手机APP的抓包。

首先了解一下fiddler(百度百科):

Fiddler是一个http协议调试代理工具,它能够记录并检查所有你的电脑和互联网之间的http通讯,设置断点,查看所有的“进出”Fiddler的数据(指cookie,html,js,css等文件,这些都可以让你胡乱修改的意思)。 Fiddler 要比其他的网络调试器要更加简单,因为它不仅仅暴露http通讯还提供了一个用户友好的格式。

完成此项工作的整个流程可分为如下几个步骤。

1. 下载fiddler抓包工具

fiddler的官方下载链接:www.telerik.com/downl...
安装步骤没什么特别,常规下一步完成即可。

2. 设置fiddler

这里有两点需要说明一下。

  • 设置允许抓取HTTPS信息包

操作很简单,打开下载好的fiddler,找到 Tools -> Options,然后再HTTPS的工具栏下勾选Decrpt HTTPS traffic,在新弹出的选项栏下勾选Ignore server certificate errors

![](https://pic1.zhimg.com/80/v2-b900626c649800b711716d0296f44ee4_720w.jpg)
  • 设置允许外部设备发送HTTP/HTTPSfiddler

相同的,在Connections选项栏下勾选Allow remote computers to connect,并记住上面的端口号8888,后面会使用到。

![](https://pic3.zhimg.com/80/v2-d1e1175ee0276b48dea2ef228e9a9c88_720w.jpg)

好了,需要的fiddler设置就配置完成了。

3. 设置手机端

设置手机端之前,我们需要记住一点:电脑和手机需要在同一个网络下进行操作
可以使用wifi或者手机热点等来完成。

假如你已经让电脑和手机处于同一个网络下了,这时候我们需要知道此网络的ip地址,可以在命令行输入ipconfig简单的获得,如图。

![](https://picb.zhimg.com/80/v2-2eacb71502d72caffc43df7f2f1fc228_720w.jpg)

好了,下面我们开始手机端的设置。

手机APP的抓取操作对于AndroidApple系统都可用,博主使用的苹果系统,在此以苹果系统为例。

进入到手机wifi的设置界面,选择当前连接网络的更多信息,在苹果中是一个叹号。然后在最下面你会看到HTTP代理的选项,点击进入。

![](https://pic4.zhimg.com/80/v2-57d2423e0aa3c5d86fcf01b1553ce237_720w.jpg)

进入后,填写上面记住的ip地址端口号,确定保存。

![](https://pic2.zhimg.com/80/v2-e3054b9b1b716333db75777f0b36e83a_720w.jpg)

4. 下载fiddler安全证书

在手机上打开浏览器输入一个上面ip地址和端口号组成的url:http://192.168.43.38:8888,然后点击FiddlerRoot certificate下载fiddler证书

![](https://pic2.zhimg.com/80/v2-ac8d6fbf52b8da87e5f9de801b436dea_720w.jpg)

以上就简单完成了所有的操作,最后我们测试一下是否好用。Python资源分享qun 1075110200 ,内有安装包,PDF,学习视频,这里是Python学习者的聚集地,零基础,进阶,都欢迎

5. 手机端测试

就以知乎APP为例,在手机上打开 知乎APP。下面是电脑上fiddler的抓包结果。

![](https://pic4.zhimg.com/80/v2-7ca3322b3d3cdd5b3d24f0298bd99686_720w.jpg)

结果没有问题,抓到信息包。然后就可以使用我们分析网页的方法来进行后续的操作了。