学习要始于兴趣，自己学习python的一大初衷是希望能用于写一些简单的游戏脚本，能服务于生活。所以决定试着直接从爬取我最爱玩的阴阳师网站的一些壁纸开始
代码复制可直接使用，记得pip install下载requests和bs4
最终版本
# 引入系统类库用于打开关闭文件
import sys
# 使用文档解析类库
from bs4 import BeautifulSoup
# 使用网络请求类库
import requests
#图片保存目录
path = 'D:/阴阳师'
#阴阳师壁纸网站
html_doc = "https://yys.163.com/media/picture.html"
# 请求
requests_html_doc = requests.get(html_doc).text
# 正则匹配所有href地址
regex = re.compile('.*?href="(.*?)2732x2048.jpg"')
urls = regex.findall(requests_html_doc)
# set集合可以防止下载的图片重复
result = set()
for i in urls:
result.add(i)
# 计数器用于图片命名
num = 0
# 文件路径、操作模式、编码 # r''
# 打开文件录入图片
f = open(r'result.txt', 'w', encoding='utf-8')
for a in urls:
try:
image_data = requests.get(a).content
image_name = '{}.jpg'.format(num) # 给每张图片命名
save_path = path + '/' + image_name # 图片的保存地址
with open(save_path, 'wb') as f:
f.write(image_data)
print(image_name, '=======================>下载成功！！！')
num = num+1 # 下一张图片名字序号加一
except:
pass
# 关闭文件录入
f.close()
print("\r\n扫描结果已写入到result.txt文件中\r\n")
过程
借鉴代码
自己从0开始，没有头绪，而且对python掌握度不高，那先借鉴别人的代码开始，第一篇借鉴的代码如下
# 引入系统类库
import sys
# 使用文档解析类库
from bs4 import BeautifulSoup
# 使用网络请求类库
import urllib.request
path = 'D:/阴阳师'
html_doc = "https://yys.163.com/media/picture.html"
# 获取请求
req = urllib.request.Request(html_doc)
# 打开页面
webpage = urllib.request.urlopen(req)
# 读取页面内容
html = webpage.read()
# 解析成文档对象
soup = BeautifulSoup(html, 'html.parser') # 文档对象
# 非法URL 1
invalidLink1 = '#'
# 非法URL 2
invalidLink2 = 'javascript:void(0)'
# set集合可以防止下载的图片连接重复
result = set()
# 计数器用于图片命名
num = 0
# 查找文档中所有a标签
for k in soup.find_all('a'):
# print(k)
# 查找href标签
link = k.get('href')
# 过滤没找到的
if(link is not None):
# 过滤非法链接
if link == invalidLink1:
pass
elif link == invalidLink2:
pass
elif link.find("javascript:") != -1:
pass
else:
result.add(link)
for a in result:
# 文件路径、操作模式、编码 # r''
f = open(r'result.txt', 'w', encoding='utf-8')
# image_data = urllib.request.get(url=a).content
image_data = requests.get(url=a).content
image_name = '{}.jpg'.format(num) # 给每张图片命名
save_path = path + '/' + image_name # 图片的保存地址
with open(save_path, 'wb') as f:
f.write(image_data)
print(image_name, '=======================>下载成功！！！')
num = num+1 # 下一张图片名字序号加一
f.close()
print("\r\n扫描结果已写入到result.txt文件中\r\n")
思考urllib.request和requests
借鉴的代码中使用urllib.request来请求，刚开始学习看到的一些代码实例也常用urllib.request来发起请求，之后看到有的代码使用的是requests。对于我个人，主观感受requests更加便捷，少写了几行代码，于是便去查阅了解两者的区别。
BeautifulSoup
接触到了BeautifulSoup，并且在一些文章的评论中看到对BeautifulSoup的称赞，进入文档查阅了下用法，改变了我之前对python，获取文档中部分特征的元素节点的写法困难的印象。
优化处理
之所以要加正则匹配，因为一开始获取到的图片链接里有空字符串的现象，在下载图片的时候直接报错整个程序挂掉，而且这个借鉴代码中的invalidLink1和invalidLink2看起来属实不舒服。所以添加了正则从源头保证链接的有效性，并且在执行下载代码中，添加了try，except保证程序出错也不会挂掉。
借鉴的代码中每一次的下载，都会对要保存的目录进行打开和关闭，于是将打开关闭抽离到最外层，下载的逻辑放在里面，下载图片成功的提速果然肉眼可见~
总结
壁纸确实不戳~，希望下一个学习的脚本能更加有趣~
