爬虫学习日记(一)

303 阅读1分钟

项目放到IDEA一直都跑不出起来,设置了module 各种source也没有用,待解决。

放到MyEcliese后,就可以跑了。

需要解决的问题是:

在stack里面去掉selenium的log,保留InvalidInput的log

刚开始我的做法是:

直接不去抛出这个Exception

好的 我的做法有点蠢

现在开始从重现问题开始:

重现问题也遇到了很多困难,首先要知道重现的是什么问题,打开test有个网址,应该是从里面爬东西。

里面有这么一个输入框,我推测这个爬虫应该是模拟输入,然后爬取信息的,我在stack里面找到了模拟输入的信息:

然后在爬虫中设置了要输入的值:

然而在debug时,并没有出现跟邮件里一样的stack,报了这种错:

debug以后是这一句:

问了东哥,是本地的phantoms没有设置,所以它获取不到,就会报错,开启项目中本地的webdriver测试方法,然后在本地安装phantoms和webdriver(ChromeDriver),期间搜索了一下,phantoms是一个无头浏览器,而selenuim可以模拟用户操作,模拟过程需要一个浏览器驱动。

本地安装完全都东西,设置完以后:

再次debug 出现同样的stack: