阅读 129

爬虫数据需求文档demo

爬虫需求,其实就是数据需求。有太多不懂技术的需求方,数据需求又有很多细节。需要沟通明确那几点呢?

需求背景

eg:背景就是支持集团xxxxx业务的开拓,数据分析,因为明确了xxx方向后才好后续的进行招聘,产品开发

一次性任务还是周期性

涉及到自动登录、cookie、半自动化还是全自动化等等,一般周期任务自动化难度会增加,需要评估

需求合规性

《网络安全法》

时间需求

必要性程度

如果短时间内不能绕过反爬或者破解,是否考虑等待

详细需求

数据入口

网站点击逻辑(面包屑导航) 或者 搜索数据的逻辑 请截大图,画框表示,可以表明数据所在页面的相对位置

数据出口

需要的数据字段


爬虫需求,经常很糟心:

  • 需求方不懂技术,不知道如何沟通
  • 数据太垂直行业,专有名词,需要快速学习业务知识
  • 在不开发的时候,不知道反爬是什么,破解难度多大
  • 需求时间无法评估
  • 不确定因素太多,有限的可以控制的地方

2021-3-18 草草写了下第一版

大家有什么优化的建议,都可以评论 也祝大家早日暴富,提桶跑路……

文章分类
后端
文章标签