MODRIC

fake_useragent模块可以模拟请求头中地useragent信息，在使用request.get函数时相当于加入了浏览器地版本信息，这样远程服务器就不会简单地认定你为爬虫了。 这里使用ua = UserAgent()来调用。 把爬取网页信息封装成函数，方便后面地调用。 本…

selenium 是一个用于Web应用程序测试的工具，可以模拟真实浏览器，自动化测试工具，支持多种浏览器，爬虫中主要用来解决JavaScript渲染（动态加载渲染）问题。 chromedriver的版本一定要与Chrome的版本一致，不然就不起作用。 方式一：解压压缩包，找到c…