最近openclaw养龙虾的热潮带动了skill的爆发,github上各种skill层出不穷,可以解决繁杂的办公自动化任务,比如生成ppt、运营媒体账号、审查代码等,skill已经成为ai时代的“万能软件”。
刚好有个朋友是做跨境3D打印业务,平时需要分析相关3D打印商品价格趋势,我帮他写个可以用于采集跨境电商商品的skill,部署在openclaw里,能通过钉钉对话输入商品关键词,自动采集对应的商品信息,完全不需要再写任何代码。
最终实现的核心功能有2个:
1、输入关键词获取商品信息
2、ai自动分析商品,返回分析报告
这个skill的核心是amazon商品采集功能,我是通过亮数据的Scraper APIs实现的,通过python requests进行访问,能实现无障碍的商品信息采集。
这里简单介绍下亮数据的Scraper APIs,它把amazon等网站平台采集功能封装到一个接口了,且内置了ip代理池、验证码解锁器、动态网页解析等爬虫技术,不需要再通过代码脚本去处理,基本可以实现一键采集。
创建这个skill还需要两个工具,一个是trae或者vscode编辑器,另一个是Anthropic发布的用于创建skill的skill,名字叫作skill-creator,你可以在github中找到它。
接下来是详细的实现步骤。
登录亮数据,获取key
因为亮数据需要key才能请求数据,所以第一步先登陆获取key
找到Web Scrapers Library,获取API
亮数据后台有专门的采集库,需要找到amazon平台的api,获取Python采集代码。
这次skill是根据关键词来搜索商品,所以选择对应的api,复制保存该python采集代码,后续会用到。
因为亮数据采集的数据会保存在云服务快照中(临时存储),每次采集后还需要下载快照中的数据集(csv或者json格式),也需要复制保存该下载代码。
配置Trae和skill-creator技能
Trae是代码编辑器,安装配置都很简单,这里不多说了。
skill-creator是专门用来创建skill的技能,推荐使用Anthropic发布的,更加可靠好用。
可以从github下载该skill压缩包,然后配置到Trae中。
创建amazon-product-scraper技能
做好准备工作后,开始创建用于采集amazon商品的skill,在Trae中新建文件夹,放入之前亮数据中复制的代码,采集脚本为scraper.py,下载脚本为dowload.py。
在ai对话框中输入创建skill的指令,如下:
利用skill creator创建一个skill,用于采集亚马逊的商品数据,可以让用户直接通过关键词搜索商品,并整理成结构化的md文档或csv表格。文件中有两个脚本供参考, scraper.py 负责请求下载数据, dowload.py 负责下载快照的数据集。
这样ai会自动调用skill-creator技能,来创建新的skill。
创建好skill后,便会看到一个新建的amazon-product-scraper文件夹,里面有个SKILL.md文件,这便是新的技能。
将skill配置到openclaw中
创建好amazon-product-scraper skill后,再配置到openclaw中,首先你得自己的小龙虾,然后将SKILL.md文件扔给它,并让它创建skill。
openclaw会自动部署该skill,并让你配置亮数据的API key。
接下来,就是见证奇迹的时刻,我们输入命令,让它“搜索amazon中3d printer相关的商品”。
openclaw会调用skill采集amazon上3D打印相关的商品数据,并返回csv和md格式文件。
数据集如下,商品相关字段有60多个,比如商品名称、价格、销量、url等等,非常详细。
这样就搭建好了一个完整的跨境电商商品采集skill,且通过openclaw能自动化运行,想搜索什么商品就能快速得到数据集。
这里用到的核心技术是亮数据的采集接口,能直接采集的amazon等平台的数据集,不需要配置复杂的爬虫代码,大大简化了网页数据采集复杂度。