职位：爬虫工程师
岗位职责：
1.负责开发网络爬虫系统以及优化爬虫策略，进行多平台信息（网页、app、小程序）的抓取；
2.负责日常爬虫的维护和代码重构等工作；
3.负责部分网站验证码破解和现有爬虫系统效率的提升；
任职要求：

1.精通python, 熟悉linux的基本操作
2.精通网页抓取原理及技术，精通正则表达式和xpath，从结构化的和非结构化的数据中获取信息，会numpy、pandas优先；
3.掌握常用的爬虫框架，例如requests,bs4,selenium,scrapy,appinum等，具有基本的反爬措施，例如ip反爬、js反爬，会js反编译者更好；
4.掌握PC网页抓取原理及技术，包括基于Cookie的登录管理，基于headless的采集，熟悉正则表达式、XPath、Jsoup等网页信息抽取技术
4.熟悉html, javascript
5.熟悉Mysql、Redis等数据库
6.熟练使用常用的无头浏览器技术，熟练使用正则表达式、Xpath等开发常用技能
7.有数据爬取、通用爬取、爬虫平台搭建处理经验优先考虑
8.有强烈上进心，自我驱动，学习适应能力强，乐观自信，能挑战自我不断追求卓越

统招公办本科及以上学历

薪资15-20
展开
内推招聘广场
评论
相关推荐