最近发现一个SpiderFlow平台,可以很快上手
自己学习着做了些练习
部署说明
我这边用的是SpiderFlow平台v0.5.0版本
平台环境要求
JDK >= 1.8
Mysql >= 5.7
Maven >= 3.0
这个网址下有详细的环境、部署等说明
www.spiderflow.org/install.htm…
正式内容
获取cookie
想要获取自己好友信息的请求需要有wb的cookie,所以要先搞出cookie为后续做准备
获取cookie的思路百度很多,就参考了其中一个用了起来
先上执行结果,截图【表格内容】弹窗中就是我们需要的cookie,由两个Cookie值组成SUB和SUBP
第一步获取tid
- 接口URL:
https://passport.weibo.com/visitor/genvisitor?cb=gen_callback&fp={"os":"1","browser":"Chrome70,0,3538,25","fonts":"undefined","screenInfo":"1920*1080*24","plugins":"Portable Document Format::internal-pdf-viewer::Chromium PDF Plugin|::mhjfbmdgcfjbbpaeojofohoefgiehjai::Chromium PDF Viewer|::gbkeegbaiigmenfmjfclcdgdpimamgkj::Google文档、表格及幻灯片的Office编辑扩展程序|::internal-nacl-plugin::Native Client"} - 请求方式:
GET - Content-Type:
application/json
通过上方接口说明获取接口返回值tid、new_tid、c
第二部获取SUB和SUBP
- 接口URL:
https://passport.weibo.com/visitor/visitor?a=incarnate&t=FBeLOS3ruskUPKPpcEfrpsaaksL+n1QKMAbtohMha4I=&w=3&c=100&cb=cross_domain&from=weibo - 请求方式:
GET - Content-Type:
application/x-www-form-urlencoded
通过上方接口说明获取接口返回值SUB和SUBP
这样cookie就拿到手了
获取好友列表
还是先看执行效果
- 接口URL:
https://weibo.com/ajax/friendships/friends?page=1&uid=【自己的id】 - 请求方式:
GET - Content-Type:
application/x-www-form-urlencoded - uid
上述接口说明中的uid需要换成自己的uid,具体的可以用浏览器登录自己主页,查看url后缀 - cookie
设定已获取的cookie值从接口返回结果中获取自己的好友清单
循环好友清单获取自己需要的好友信息
保存至数据库中
SpiderFlow 数据库配置
上面流程中直接将获取数据直接存入数据库中
spiderFlow是支持配置数据
配置步骤:数据源管理>添加数据源>测试连接>保存