简单爬虫:爬取100张动漫图片

345 阅读2分钟

「这是我参与2022首次更文挑战的第14天,活动详情查看:2022首次更文挑战」。

主要步骤:

  1. 对指定url发送请求
  2. 获取响应数据
  3. 数据解析
  4. 数据储存

4K图片地址

1.分析每页url并获取响应数据

第一页url:pic.netbian.com/4kdongman/
第二页url:pic.netbian.com/4kdongman/i…
第三页url:pic.netbian.com/4kdongman/i…

除了第一页,之后每一页只有index_不同。我们需要爬取前五页图片。 对url发出请求,并获取响应数据。

url = 'http://pic.netbian.com/4kdongman/index_%d.html'
# 设置请求头
headers = {
    'Users-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.117 Safari/537.36'
}
for page in range(1, 3):
    if (page == 1):
        new_url = 'http://pic.netbian.com/4kmeinv/'
    else:
        new_url = format(url % page)
    response = requests.get(url=new_url, headers=headers)
    response.encoding = 'gbk'    # 设置获取响应数据的编码格式
    page_text = response.text

2.对网页进行解析解析找到图片名称及url

在这里插入图片描述 打开网页源码查看后,很明显的发现图片地址和图片的名称在img标签中,每一张图片的信息都在li标签中。其中图片地址需要添加前面缺省部分。我们用xpath方法首先获取li_list,再通过循环来获取每张图片的信息。

# 数据解析
    tree = etree.HTML(page_text)
    li_list = tree.xpath('//ul[@class="clearfix"]/li')    # 获取li标签列表
    img_list = []
    img_name_list = []
    for li in li_list:
        img_list.append(li.xpath('./a/img/@src')[0])    # 图片地址
        img_name_list.append(li.xpath('./a/img/@alt')[0])    # 图片名

    # 获取完整图片url
    img_url_list = []
    for img_url in img_list:
        img_url_list.append('http://pic.netbian.com' + img_url)

3.提取图片数据并保存到本地文件夹中

根据上面获得的图片地址,请求图片的二进制数据,再将其数据写入指定文件,创建一个文件夹用来保存图片。

	# 在当前目录下创建文件夹
	isExists = os.path.exists('./4ktupian')
	if not isExists:
    	os.makedirs('./4ktupian')
    
    # 提取图片数据
    for i in range(len(img_url_list)):
        img_data = requests.get(url=img_url_list[i], headers=headers).content
        filePath = './4ktupian/' + img_name_list[i] + '.jpg'
        with open(filePath, 'wb')as fp:
            fp.write(img_data)
        print('%s,下载成功' % img_name_list[i])

完整代码

import requests
from lxml import etree
import os

# 创建文件夹
isExists = os.path.exists('./4ktupian')
if not isExists:
    os.makedirs('./4ktupian')

url = 'http://pic.netbian.com/4kmeinv/index_%d.html'
headers = {
    'Users-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.117 Safari/537.36'
}
for page in range(1, 3):
    if (page == 1):
        new_url = 'http://pic.netbian.com/4kmeinv/'
    else:
        new_url = format(url % page)
    response = requests.get(url=new_url, headers=headers)
    # 设置获取响应数据的编码格式
    response.encoding = 'gbk'
    page_text = response.text

    # 数据解析
    tree = etree.HTML(page_text)
    li_list = tree.xpath('//ul[@class="clearfix"]/li')
    img_list = []
    img_name_list = []
    for li in li_list:
        img_list.append(li.xpath('./a/img/@src')[0])
        img_name_list.append(li.xpath('./a/img/@alt')[0])

    # 获取完整图片url
    img_url_list = []
    for img_url in img_list:
        img_url_list.append('http://pic.netbian.com' + img_url)

    # 提取图片数据
    for i in range(len(img_url_list)):
        img_data = requests.get(url=img_url_list[i], headers=headers).content
        filePath = './4ktupian/' + img_name_list[i] + '.jpg'
        with open(filePath, 'wb')as fp:
            fp.write(img_data)
        print('%s,下载成功' % img_name_list[i])

结果展示:

在这里插入图片描述


对于刚入门 Python 或是想要入门 Python 的小伙伴,可以通过关注公众号“Python新视野”,一起交流学习,都是从新手走过来的,有时候一个简单的问题卡很久,但可能别人的一点拨就会恍然大悟,由衷的希望大家能够共同进步。另有整理的近千套简历模板,几百册电子书等你来领取哦!