从零开始使用Springboot，selenium进行爬虫

环境

• 系统：ubuntu 22.04.1
• java：11
• Chrome浏览器：126.0.6478.126
• Chrome浏览器驱动：126.0.6478.126
• idea：2024社区版

下载Chrome和对应chromedriver

点击下面网址下载： googlechromelabs.github.io/chrome-for-… 下载对应平台和版本的Chrome和Chromedriver，复制网址下载：

配置chromedriver的路径（可以不配，项目启动指定路径也可以）

• linux
  • 使用终端查看系统的PATH环境变量
    • 终端输入：echo $PATH 查看系统的PARH环境变量
    • 
  • 将chromedriver文件放入PATH环境变量的目录下
    • 这里是把下载好的Chromedriver放在了上面表的目录里，里面的chromedriver要放在PATH环境变量的目录下
• windows
  • 配置环境变量 网上很多

也可以都不配置后续只需要指定路径即可

项目构建

创建Springboot项目

这里有很详细的创建方式，而且支持社区版也能用：www.opensnn.com/os/article/…

添加对应依赖

在pom文件添加对应依赖

<dependency>
            <groupId>org.seleniumhq.selenium</groupId>
            <artifactId>selenium-java</artifactId>
            <version>4.22.0</version>
        </dependency>

添加简单的demo案例

public class seleniumDemo {
    public static void main(String[] args) throws IOException {
        // 设置ChromeDriver路径，后面改成自己下载好的chromedriver，指定到chromedriver文件夹里面的chromedriver文件
        System.setProperty("webdriver.chrome.driver", "/usr/local/bin/chromedriver");
        // 创建ChromeDriver实例
        WebDriver driver = new ChromeDriver();
        // 打开网页
        driver.get("https://www.baidu.com");
        // 输出网页标题
        System.out.println("Title: " + driver.getTitle());
        // 关闭浏览器
        driver.quit();
    }
}

发现报错

点击

发现版本不对，既有3.141的版本也有4.22的版本

解决 org.openqa.selenium.in

作者：灵感迸发 链接：www.opensnn.com/os/article/… 来源：OpenSNN开思通智网 声明：转载此文是出于传递更多信息之目的。若有来源标注错误或侵犯了您的合法权益，请作者持权属证明与本网联系，我们将及时更正、删除，谢谢。