目标:自动批量抓取电商网站商品信息
测试地址(影刀商城):shop.yingdao.com
影刀商城测试账号
账号:admin
密码:58T2$!hm
注意:在开始之前需要有目标网站的账号密码。
需求分析
- 打开网页,进行登录
- 跳转订单管理,检索商品,找到目标商品
- 批量抓取商品数据
- 导出到Excel,以当前系统日期时间命名
快速开始
首先:打开影刀客户端,创建一个PC端机器人。
然后打开网页,完成登录操作。
第二步:继续添加指令,完成商品订单信息查询
这里我们先将商品关键字写死,先实现效果,后续再优化!
相关指令操作,网页元素捕获,请看这篇文章!!
数据抓取
接下来我们开始本案例重点,数据抓取。
第一步,我们选择页面顶端数据抓取按钮,单击
第二步,打开我们影刀商城,在列表中,随机捕获一个数据
接下来选择抓取所有列,即可捕获需要的数据。
接下来数据预览出,点击完成即可
如果数据只有一页,选择本页即可。
数据有多页,就选择多页,而后去网页捕获下一页按钮即可,其余参数默认即可,到此,商品订单数据的批量抓取我们完成了!!
第三步,预览数据,点击页面底部的数据表格,即可预览抓取的数据。
温馨提示:每次抓取之前,建议清空表格,免得导出数据的出现错误。添加指令清空表格数据即可
自定义抓取数据
在抓取数据时,可能有些数据不是我们想要,这个时候我们在上述数据抓取第二步选择抓取一列
接下来接着捕获,需要数据列即可,最后点击完成,后续步骤同数据抓取第二步剩余部分。
数据导出
接下来将我们的数据导出到Excel表格。添加指令数据表格导出,设置文件保存路径,文件名即可。
修改导出的Excel文件名为日期
在数据表格导出指令前添加两条指令,获取当前日期时间和日期时间转换为文本即可。
将日期转换成文本时,设置好日期时间格式即可。注意
- 这里的Y m d 分别表示年月日;H M S则对应的是时分秒;
- 因为我们这里使用日期时间作为文件名,在windows系统中是不允许冒号(:) 出现在文件名中的,所以我这里将冒号替换成了减号(-)
接下来设置文件名,将原来默认的文件名替换为新的日期时间格式。
效果预览:
自定义对话框
通过上面的步骤,我们已经能够实现对指定的商品的订单的批量抓取,但是这里我们只能抓取一开始固定商品。如果要抓取其他商品,则需要修改中间的指令。
而我期望的效果是:我指定商品后,机器人就自动帮我抓取,整个过程不需要人工去干预。
这个时候我们可以在整个指令开头使用自定义对话框,添加输入框。
放在最开始,是因为程序运行前,就把人要做的事情做完,后续就只等结果即可。中途不要人工干预。
接下来添加指令设置变量,用于接收人工输入的数据。
接下来修改检索商品的输入,与我们设置的变量绑定
到此我们就大功告成,动态批量抓取商品数据,并导出到Excel,只需要输入商品名称,后续不需要人工干预!