其中有两种标签：class="kt" 的span标签，对应的是分类的标题；class='list' 的div标签，子标签对应的是每一个分类的链接 href 和名称 wbfspan 标签。有用的是第二个标签。
正常点击网页上的某一种分类线路，例如：常规线路，注意看点击的时候网址栏发生的变化
此时的网址变成了：shenzhen.8684.cn/line1，**也就是… href 内容**
再回到我们的网页上，可以看到显示的公交路线，同样分析源码，内容如下：
处理思路如下：定位到 list clearfix 的这个div，它下面的每一个子标签（a标签）对应的都是一条公交线路，href 同样为该公交线路的链接，wbfspan 同样为名称
随便点开某一条公交线路，例如：8号线，注意看点击的时候网址栏发生的变化
此时的网址变成了：shenzhen.8684.cn/x\_3dfcd0fb… href 内容换成了最新的 href 内容**
再回到我们的网页上，这个就是我们需要爬取数据的终极目标网页：
上半部分的公交详细信息：运行时间、票价、公司、更新时间等
下半部分的公交详细站点，以及每个站点的经纬度等
ok，来整理一下总体思路：
-
通过城市名称构造第一类访问 url
-
访问第一类 url
-
解析该城市的公交分类，获取到想要的分类类型，构造第二类访问 url
-
访问第二类 url
-
解析分类类型的每一个公交线路，构造第三类访问 url
-
访问第三类 url
-
解析该公交路线的上、下两部分数据
-
循环第二类 -> 第三类的过程，直到爬完所有数据
解析城市的公交分类，构造第二类访问 url 的核心代码如下：
url = 'shenzhen.8684.cn/'
response = requests.get(url=url, headers={'User-Agent': get_ua()}, timeout=10)
"""获取数据并解析"""
soup = BeautifulSoup(response.text, 'lxml')
soup_buslayer = soup.find('div', class_='bus-layer depth w120')
# 解析分类数据
dic_result = {}
soup_buslist = soup_buslayer.find_all('div', class_='pl10')
for soup_bus in soup_buslist:
name = soup_bus.find('span', class_='kt').get_text()
if '线路分类' in name:
soup_a_list = soup_bus.find('div', class_='list')
for soup_a in soup_a_list.find_all('a'):
text = soup_a.get_text()
href = soup_a.get('href')
dic_result[text] = "shenzhen.8684.cn" + href
print(dic_result)
上面的 dic_result 中存储的就是每一个分类的名称 text 和访问 href
对其进行遍历，即可获得每一个类型下的所有公交线路
核心代码如下：
bus_arr = []
index = 0
for key,value in dic_result.items():
print ('key: ',key,'value: ',value)
response = requests.get(url=value, headers={'User-Agent': get_ua()}, timeout=10)
"""获取数据并解析"""
soup = BeautifulSoup(response.text, 'lxml')
# 详细线路
soup_buslist = soup.find('div', class_='list clearfix')
for soup_a in soup_buslist.find_all('a'):
text = soup_a.get_text()
href = soup_a.get('href')
title = soup_a.get('title')
bus_arr.append([title, text, "shenzhen.8684.cn" + href])
print(bus_arr)
类似的， bus_arr 中存储的就是每一个公交路线的名称 text 和访问 href
同样的代码设计思路，遍历访问每个链接，解析最终的网页即可
最后我爬到的数据是这样的：
每个公交路线经过的站点列表我放入了一个字典，也就是上图的最后一列
**对了，上述数据我没有做数据清洗，**要清洗的话我建议：
-
①运行时间列进行拆分，构造最早发车、最晚发车、起始站、终点站 四个字段；
-
②票价列进行解析，识别出数字；
-
③最后更新列进行解析，识别出时间；
-
④站点信息列进行解析，统计总站点数、是否环形、经过哪些行政区等
另外，上文中提到了可以解析出站点经纬度信息，这个在上述笔记中没有写出来，感兴趣的自行摸索，或者在文末留言交流
写在最后的话
整体来说，虽然流程的设计比较繁琐，但是仍然是很基础的一篇内容
学好 Python 不论是就业还是做副业赚钱都不错，但要学会 Python 还是要有一个学习规划。最后大家分享一份全套的 Python 学习资料，给那些想学习 Python 的小伙伴们一点帮助！
一、Python所有方向的学习路线
Python所有方向路线就是把Python常用的技术点做整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。
二、学习软件
工欲善其事必先利其器。学习Python常用的开发软件都在这里了，给大家节省了很多时间。
三、全套PDF电子书
书籍的好处就在于权威和体系健全，刚开始学习的时候你可以只看视频或者听某个人讲课，但等你学完之后，你觉得你掌握了，这时候建议还是得去看一下书籍，看权威技术书籍也是每个程序员必经之路。
四、入门学习视频
我们在看视频学习的时候，不能光动眼动脑不动手，比较科学的学习方法是在理解之后运用它们，这时候练手项目就很适合了。
五、实战案例
光学理论是没用的，要学会跟着一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。
六、面试资料
我们学习Python必然是为了找到高薪的工作，下面这些面试题是来自阿里、腾讯、字节等一线互联网大厂最新的面试资料，并且有阿里大佬给出了权威的解答，刷完这一套面试资料相信大家都能找到满意的工作。
