爬虫需要掌握的技能及工具分享一路走来磕磕绊绊，不知不觉已经是从事爬虫行业的第四年了，回首望去......突然决定记录一下

一路走来磕磕绊绊，不知不觉已经是从事爬虫行业的第四年了，回首望去......突然决定记录一下的学习过程并分享一些经验

爬虫既简单又复杂

为什么说爬虫既简单有复杂，通俗的讲爬虫只有只有四个环节

随着反爬工程师的出现爬虫就变成了这样

微信图片_20230222112340.jpg 哈哈话不多说直接进入主题

chrome谷歌具有强大的插件，便利的抓包工具等是爬虫必不可少的神器（之后会详细写一篇谷歌游览器的爬虫用法）谷歌驱动下载，谷歌历史版本下载
Firefox火狐浏览器（这里就不多做介绍了，比如中国土地市场网在使用selenium采集使用火狐要比谷歌好用很多）火狐驱动下载，
抓包工具这里首推fiddler经过了很多版本的迭代目前已经很成熟了。下载地址：pan.baidu.com/s/1jefg8elr… 提取码：oo53
Charles 也是很好用的一个抓包工具之后会写一篇详细介绍fiddler和Charles的文章
可视化数据库Navicat，Robomongo，RedisDesktopManager，下载地址：pan.baidu.com/s/1p0uH7ITJ… 提取码：6ity
git+TortoiseGit 下载地址：pan.baidu.com/s/1Y35NQ5el… 提取码：6w46
xftp6+xshell6 下载地址：pan.baidu.com/s/1W5-l_bg1… 提取码：ih23
SVN 下载地址：pan.baidu.com/s/120XW72Id… 提取码：c7ea
小黄鸟+平行空间下载地址：pan.baidu.com/s/1MPdXQ6r6… 提取码：9p3q
postman 下载地址：pan.baidu.com/s/10NEE56Vr… 提取码：jybc
FontCreatorSetup-x64 下载地址：pan.baidu.com/s/1I1RTO5vi… 提取码：vltg