公司:小黑鱼
地点:杭州
职位:爬虫工程师
工作经验:两年以上
一些要求:
- 熟练使用requests、scrapy、scrapy-redis
- 熟悉MongoDB、Redis、MySQL,会写SQL语句
- 会使用多线程,了解异步
- 熟练使用分布式,开发过完整爬虫项目
- APP抓包、分析,了解逆向更加
- 可以使用linux环境开发
加分项:
- Docker用于生产环境
- 有搭建维护代理池经验
- 部署环境搭建、日志系统搭建
- 验证码处理、js分析
- 有电商爬虫经验更佳
请注意,会加班!
来到新公司,发现爬虫这块可以说是0。所有的东西都需要自己去搭建,之前在造数,什么代理池、部署框架、日志系统全是专门的运维来处理,自己根本就无需管理。现在就会自己去选择、做出方案,自己去搭建,成长会更快。
现在还要招聘一位爬虫工程师,来了基本上就和我一起开发爬虫,搭建爬虫框架、处理数据。
薪资这块看能力,15~30K吧。
如果感兴趣,可以发简历给我,加微信:zhang7350