1 package com.oukele.csdn_demo;
2
3 import org.jsoup.Jsoup;
4 import org.jsoup.nodes.Document;
5 import org.jsoup.nodes.Element;
6 import org.jsoup.select.Elements;
7
8 import java.io.IOException;
9
10 public class CsdnCrawlDemo {
11
12 public static void main(String[] args) {
13 //目标地址
14 String url = "www.csdn.net/";
15 try {
16 Document document = Jsoup
17 .connect(url)
18 .header("user-agent","Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.80 Safari/537.36")
19 .get();
20 // 右侧导航栏
21 Elements nav_com = document.getElementsByClass("nav_com");
22 Elements elements = nav_com.select("ul>li");
23 for (Element element : elements) {
24 System.out.println("导航标题："+element.text()+"\t标题访问地址："+element.select("a").attr("href")+"\r\n");
25 //这里 我们可以 根据 得到的访问链接 再进行 爬取.........
26 }
27 } catch (IOException e) {
28 System.out.println("出现错误:"+e.getMessage());
29 }
30
31
32 }
33
34 }
运行结果：
1 导航标题：推荐 标题对应的链接：/
2
3 导航标题：最新文章 标题对应的链接：/nav/newarticles
4
5 导航标题：关注 标题对应的链接：/nav/watchers
6
7 导航标题：资讯 标题对应的链接：/nav/news
8
9 导航标题：人工智能 标题对应的链接：/nav/ai
10
11 导航标题：云计算/大数据 标题对应的链接：/nav/cloud
12
13 导航标题：区块链 标题对应的链接：blockchain.csdn.net
14
15 导航标题：数据库 标题对应的链接：/nav/db
16
17 导航标题：程序人生 标题对应的链接：/nav/career
18
19 导航标题：游戏开发 标题对应的链接：/nav/game
20
21 导航标题：研发管理 标题对应的链接：/nav/engineering
22
23 导航标题：前端 标题对应的链接：/nav/web
24
25 导航标题：移动开发 标题对应的链接：/nav/mobile
26
27 导航标题：物联网 标题对应的链接：/nav/iot
28
29 导航标题：运维 标题对应的链接：/nav/ops
文末有福利领取哦~
👉一、Python所有方向的学习路线
Python所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。
👉二、Python必备开发工具
👉三、Python视频合集
观看零基础学习视频，看视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。
👉 四、实战案例
光学理论是没用的，要学会跟着一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。（文末领读者福利）
👉五、Python练习题
检查学习结果。
👉六、面试资料
我们学习Python必然是为了找到高薪的工作，下面这些面试题是来自阿里、腾讯、字节等一线互联网大厂最新的面试资料，并且有阿里大佬给出了权威的解答，刷完这一套面试资料相信大家都能找到满意的工作。
👉因篇幅有限，仅展示部分资料，这份完整版的Python全套学习资料已经上传
