Scrapy 实战之爬取妹子图

很多人说爬虫这门技术非常有趣，但不知道如何入门。其实爬虫入门非常简单，难的部分在于各大网站的反爬机制。当然对于一些简单的网站，还是非常容易爬取。

学习爬虫首先要明确你的驱动力，是想爬一些知乎的数据，还是一些电影的资源。驱动力非常重要，这决定你是否有足够的兴趣继续学下去。

很多人学习爬虫的第一驱动力就是爬取各大网站的妹子图片，比如比较有名的 mzitu。在爬这些网站的时候，即可以欣赏漂亮的妹子图，又能学习到技术，非常的 nice。

今天我就结合非常好用的 scrapy 框架，去抓取一些妹子图片，并把爬取的数据保存到 mongodb 数据库中。本次要爬取的网站是 360 的图片搜索网站，

地址：http://images.so.com/

360 图片的妹子质量还是非常可以的，我随意放几张大家感受下。

清纯可爱的

文艺又气质的

仙气十足的

非常的赏心悦目。

程序思路

本次程序运行的环境是 windows 10 + python 3.6，运行本次程序前首先确保你已经安装好了 scrapy、pymongo 以及 mongodb 数据库。

简单的分析了下 360 图片网站，并没有很强的反爬措施，并且网站的数据是以 Ajax 请求呈现。

我们进一步查看请求的详情，观察返回的数据结构。

返回的是 JSON 数据格式，其中 list 字段把图片的一些信息都保存在这里面。比如我们需要的图片地址信息 cover_imgurl。另外观察 Ajax 请求的参数信息，还有一个 sn 一直在变化，这个参数很明显就是偏移量。当 sn 为 30 时，返回的是前 30 张图片，依次类推，我们只需要改变 sn 的值就可以一直获取图片的信息。

接下来我们只需要通过 scrapy 高性能的框架，把网站上的图片保存到本地即可。

新建项目

首先在本地创建一个 scrapy 项目并命名为 images360。通过已下的命名即可创建。

scrapy startproject images360

随后就会有如下的项目结构

接下来就是在 spiders 目录下新建一个 Spider，命令如下：

scrapy genspider images images.so.com

这样我们的项目都已创建好，最后项目的结构如下。

程序代码

settings.py

在 settings.py 里面会先定义一个变量 MAX_PAGE，表示我们需要爬取的最大页面，比如在此次的程序中我们设置的是 50，也就是爬取 50 页，每页 30 张，一共 1500 张图片。

MAX_PAGE = 50

settings.py 文件中我们还设置一些数据库相关的配置信息。

MONGO_URI = 'localhost'
MONGO_DB = 'test'
IMAGES_STORE = './images'

ROBOTSTXT_OBEY = False

    def start_requests(self):
        data = {'ch': 'photogtaphy', 'listtype': 'new'}
        base_url = 'https://image.so.com/zj?0'
        for page in range(1, self.settings.get('MAX_PAGE') + 1):
            data['sn'] = page * 30
            params = urlencode(data)
            url = base_url + params
            yield Request(url, self.parse

class Images360Item(Item):
    # define the fields for your item here like:
    # name = scrapy.Field()
    collection = table = 'images'
    id = Field()
    url = Field()
    title = Field()
    thumb = Field()

    def parse(self, response):
        result = json.loads(response.text)
        for image in result.get('list'):
            item = Images360Item()
            item['id'] = image.get('imageid')
            item['url'] = image.get('qhimg_url')
            item['title'] = image.get('group_title')
            item['thumb'] = image.get('qhimg_thumb_url')
            yield item

class MongoPipeline(object):
    def __init__(self, mongo_uri, mongo_db):
        self.mongo_uri = mongo_uri
        self.mongo_db = mongo_db

    @classmethod
    def from_crawler(cls, crawler):
        return cls(
            mongo_uri=crawler.settings.get('MONGO_URI'),
            mongo_db=crawler.settings.get('MONGO_DB')
        )

    def open_spider(self, spider):
        self.client = pymongo.MongoClient(self.mongo_uri)
        self.db = self.client[self.mongo_db]

    def process_item(self, item, spider):
        self.db[item.collection].insert(dict(item))
        return item

    def close_spider(self, spider):
        self.client.close()

IMAGES_STORE = './images'

class ImagePipeline(ImagesPipeline):
    def file_path(self, request, response=None, info=None):
        url = request.url
        file_name = url.split('/')[-1]
        return file_name

    def item_completed(self, results, item, info):
        image_paths = [x['path'] for ok, x in results if ok]
        if not image_paths:
            raise DropItem('Image Downloaded Failed')
        return item

    def get_media_requests(self, item, info):
        yield Request(item['url'])

ITEM_PIPELINES = {
   'images360.pipelines.ImagePipeline': 300,
   'images360.pipelines.MongoPipeline': 301
}

scrapy crawl images