抓取手机 app 的数据（摩拜单车）看完这篇文章，你应该学会 “如何抓取手机 app 的包”。

前几天有人私信我，问能不能帮忙抓取摩拜单车的数据。。。

我想着授人以鱼不如授人以渔，所以本次我们就讲讲如何抓取手机app的内容吧

&amp;amp;amp;lt;img src="https://pic2.zhimg.com/v2-046c96ca72b7326517113b34d49b34e9_b.png" data-rawwidth="727" data-rawheight="124" class="origin_image zh-lightbox-thumb" width="727" data-original="https://pic2.zhimg.com/v2-046c96ca72b7326517113b34d49b34e9_r.png"&amp;amp;amp;gt;&amp;amp;amp;lt;img src="https://pic3.zhimg.com/v2-a719bd45809bf82e9550778f6b451aee_b.png" data-rawwidth="1286" data-rawheight="153" class="origin_image zh-lightbox-thumb" width="1286" data-original="https://pic3.zhimg.com/v2-a719bd45809bf82e9550778f6b451aee_r.png"&amp;amp;amp;gt;

fiddle的安装及配置

抓手机包我用的是fiddle。

安装

先在下载页面下载--->Download Fiddler Web Debugging Tool for Free by Telerik

选择你“准备用fiddle来干嘛”

你的邮箱

以及同意“最终用户许可协议”就可以下载了

&amp;amp;amp;lt;img src="https://pic2.zhimg.com/v2-d41ac8c351ab978f79bc6e4b7d86779d_b.png" data-rawwidth="783" data-rawheight="440" class="origin_image zh-lightbox-thumb" width="783" data-original="https://pic2.zhimg.com/v2-d41ac8c351ab978f79bc6e4b7d86779d_r.png"&amp;amp;amp;gt;下载后按照提示安装就可以了。

下载后按照提示安装就可以了。

配置

点击tool->telerik fiddler options...

&amp;amp;amp;lt;img src="https://pic2.zhimg.com/v2-40817c6d1ea12b22eedafd60041a8b89_b.png" data-rawwidth="596" data-rawheight="310" class="origin_image zh-lightbox-thumb" width="596" data-original="https://pic2.zhimg.com/v2-40817c6d1ea12b22eedafd60041a8b89_r.png"&amp;amp;amp;gt;

2. 点击connections，然后勾选 “allow remote computers to connect”

记住这边的端口号（8888）

&amp;amp;amp;lt;img src="https://pic4.zhimg.com/v2-242229432c64e0aceba37d454440116f_b.png" data-rawwidth="553" data-rawheight="370" class="origin_image zh-lightbox-thumb" width="553" data-original="https://pic4.zhimg.com/v2-242229432c64e0aceba37d454440116f_r.png"&amp;amp;amp;gt;

开始抓吧

首先确保电脑和手机连在同一个WiFi下面
打开fiddle
获取电脑ip

打开cmd命令行
输入ipconfig,如图所示，192.168.31.146就是我的ip地址

打开手机WiFi设置，找到你当前链接的WiFi

我当前链接的是Xiaomi_E172_5G

设置代理服务器为你电脑的ip，端口号为上面设置的端口号（默认为8888）
安装https证书

在手机浏览器上打开你电脑ip:你设置的端口号
我的是192.168.31.146:8888
点击框框处安装证书

设置fiddle监听所有请求

选择all process

打开摩拜单车app

然后你会看到定位的时候一辆车也没有。。。

打开个人详情页还提示“抱歉，服务暂不可用。。。”
这是因为摩拜有防抓取限制（我猜是检测，如果有使用代理的话，直接让你用不了。。。）
那这样的话我们就没办法抓到么？？？
因为我之前还用过摩拜的小程序，所以我们抓抓微信小程序试试看
打开摩拜单车的小程序
我们看到已经定位了。。，并且把附件的单车都显示出来了

我们可以多移动我们的位置，然后等有把附近的车显示出来
可以看到fiddle上面已经有好多请求了

那么如何找到摩拜的那一条呢。。。
很简单，看单词就好。。。
mobike-api。。。这很明显就是我们要找的请求
请求头如下图所示，方法是post

参数如下图
返回值因为我看到是json的格式了，所以直接以json的格式看。
那么直接模拟发送吧

直接看代码吧。。。

import requests
# 如果headers里面没有referer则会访问异常
# referer表示上一个页面是什么。
headers = {
    'User-Agent': 'Mozilla/5.0 (iPhone; CPU iPhone OS 10_3_1 like Mac OS X) AppleWebKit/603.1.30 (KHTML, like Gecko) Mobile/14E304 MicroMessenger/6.5.7 NetType/WIFI Language/zh_CN',
    'Content-Type': 'application/x-www-form-urlencoded',
    'Referer': 'https://servicewechat.com/wx80f809371ae33eda/23/page-frame.html',
}
url = 'https://mwx.mobike.com/mobike-api/rent/nearbyBikesInfo.do'
data = {
    'longitude':'121.1883',# 经度
    'latitude':'31.05147', # 纬度
    'citycode':'021',
    'errMsg':'getMapCenterLocation:ok'

}
# 下面必须加上verify=False,表示不验证ssl，要不然一直报错。。。
z = requests.post(url,data=data,headers=headers,verify=False)

&amp;amp;amp;lt;img src="https://pic2.zhimg.com/v2-242e5fe0d25c6bc74b3c896b73758f3d_b.png" data-rawwidth="1128" data-rawheight="193" class="origin_image zh-lightbox-thumb" width="1128" data-original="https://pic2.zhimg.com/v2-242e5fe0d25c6bc74b3c896b73758f3d_r.png"&amp;amp;amp;gt;

可以看到我们已经抓取了需要的数据，那么怎么抓取整个上海的摩拜单车情况呢？？

只要获取上海的所有经纬度，然后替换上面data中的经度及纬度就可以了。。。

那么怎么获取上海的所有经纬度。。。

我发现挺难的。。。（有人拿到了请告诉我一声，谢谢）

然后我用了高德地图api的搜索功能，搜索了上海的所有小区的经纬度。一共898个，

然后查了这898个小区附件的摩拜单车情况....

总结

看完本编文章，你应该学会“如何抓取手机app的包”

其实挺简单的（就是你手机通过电脑上网，然后这台电脑上所有的请求都被抓下来了，那么你手机的请求自然也被抓下来了）

大家还可以试着抓抓知乎客户端的包。。。

更多fiddle的使用技巧，请善用百度、Google

最后所有代码在github.com/kimg1234/pa…

大家有空的话帮忙关注下公众微信号。。。搜索“python爬虫”第一个就是

或者长按下图识别二维码，谢谢~

aHR0cHM6Ly9tcC53ZWl4aW4ucXEuY29tL21wL3Byb2ZpbGVfZXh0P2FjdGlvbj1ob21lJl9fYml6PU16VTJPVEF4TlRjd013PT0mc2NlbmU9NCN3ZWNoYXRfcmVkaXJlY3Q= (二维码自动识别)