爬虫实战--爬草稿箱取1000位小姐姐私房照，刷新你三观颜值！

爬取的网站链接：http://www.mmonly.cc/mmtp/

主页网址唯一图库直接点到末页，一共有1274页。

右键点击一个图片链接，选择审查元素

这里的img是就封面，如果只抓取封面的话，到这就可以了，但要取的是所有图片，所以这里我们获取的是这个详情页的1链接：http://www.mmonly.cc/mmtp/xgmn/181603.html，这就是第一个图集的链接，然后每页有24个图集。我这只爬取到852页，点击下一页查看下网址变化，http://www.mmonly.cc/mmtp/list_9_2.html，页数变成2，所以我们这里直接循环，然后获取每一页上的图集1链接：

import requests
from lxml import html
for page in range(1,852):
    url='http://www.mmonly.cc/mmtp/list_9_%s.html'%page
    response=requests.get(url,verify=False).text
    selector=html.fromstring(response)
    imgEle=selector.xpath('//div[@class="ABox"]/a')
    for img in imgEle:
        imgUrl=img.xpath('@href')[0]
        print(imgUrl)

我们就能获取到所有的主要链接，每页24个，2w+个。 这里用的是xpath。点开一个链接，看一下详情页，发现网址没有变化，点下一页，同样的是网址后面加了页数：http://www.mmonly.cc/mmtp/xgmn/181603_2.html，有点区别的地方就是我们不知道每个图集有多少页，所以这里再单独获取一下，同样的右击审查元素。

for img in imgEle:
        imgUrl=img.xpath('@href')[0]
        response=requests.get(imgUrl,verify=False).text
        selector = html.fromstring(response)
        pageEle = selector.xpath('//div[@class="wrapper clearfix imgtitle"]/h1/span/span[2]/text()')[0]
        print(pageEle)

这里如愿获取到15。之后就是访问每一页，获取高清大图了，以及图片的保存。urllib.request.urlretrieve（url,path）简单下载图片，参数为图片链接和下载的本地路径。

完整代码如下：

import os
import urllib
import requests
from lxml import html
import time
from requests.packages.urllib3.exceptions import InsecureRequestWarning
# 禁用安全请求警告
requests.packages.urllib3.disable_warnings(InsecureRequestWarning)

os.mkdir('meizi')#第一次运行新建meizi文件夹，手动建可以注释掉

for page in range(1,852):
    url='http://www.mmonly.cc/mmtp/list_9_%s.html'%page
    print(url)
    response=requests.get(url,verify=False).text

    selector=html.fromstring(response)
    imgEle=selector.xpath('//div[@class="ABox"]/a')
    print(len(imgEle))
    for index,img in enumerate(imgEle):
        imgUrl=img.xpath('@href')[0]
        response=requests.get(imgUrl,verify=False).text
        selector = html.fromstring(response)
        pageEle = selector.xpath('//div[@class="wrapper clearfix imgtitle"]/h1/span/span[2]/text()')[0]
        print(pageEle)
        imgE=selector.xpath('//a[@class="down-btn"]/@href')[0]

        imgName = '%s_%s_1.jpg' % (page,str(index+1))
        coverPath = '%s/meizi/%s' % (os.getcwd(), imgName)
        urllib.request.urlretrieve(imgE, coverPath)

        for page_2 in range(2,int(pageEle)+1):
            url=imgUrl.replace('.html', '_%s.html' % str(page_2))
            response = requests.get(url).text
            selector = html.fromstring(response)
            imgEle = selector.xpath('//a[@class="down-btn"]/@href')[0]
            print(imgEle)
            imgName='%s_%s_%s.jpg'%(page,str(index+1),page_2)
            coverPath = '%s/meizi/%s' % (os.getcwd(), imgName)
            urllib.request.urlretrieve(imgEle, coverPath)
    time.sleep(2)

成果图如下：

希望这次分享可以给你们提供到学习的作用，我是一名在线工作的程序员，喜欢分享，喜欢我记得关注我三连哦，对于Python编程这方面有问题可以找我，乐于解答，需要免费获得下面资源的，可以私信我，或点击领取。

①兼职交流，行业咨询

②Python开发环境安装教程

③Python400集自学视频

④大佬在线专业解答

⑤Python学习路线图

⑥300多本Python电子书