爬虫需求,其实就是数据需求。有太多不懂技术的需求方,数据需求又有很多细节。需要沟通明确那几点呢?
需求背景
eg:背景就是支持集团xxxxx业务的开拓,数据分析,因为明确了xxx方向后才好后续的进行招聘,产品开发
一次性任务还是周期性
涉及到自动登录、cookie、半自动化还是全自动化等等,一般周期任务自动化难度会增加,需要评估
需求合规性
《网络安全法》
时间需求
必要性程度
如果短时间内不能绕过反爬或者破解,是否考虑等待
详细需求
数据入口
网站点击逻辑(面包屑导航) 或者 搜索数据的逻辑 请截大图,画框表示,可以表明数据所在页面的相对位置
数据出口
需要的数据字段
爬虫需求,经常很糟心:
- 需求方不懂技术,不知道如何沟通
- 数据太垂直行业,专有名词,需要快速学习业务知识
- 在不开发的时候,不知道反爬是什么,破解难度多大
- 需求时间无法评估
- 不确定因素太多,有限的可以控制的地方
2021-3-18 草草写了下第一版
大家有什么优化的建议,都可以评论 也祝大家早日暴富,提桶跑路……