Python爬虫:基于Scrapy的淘宝登陆后实现数据爬取并保存到Mysql

Code皮皮虾
2,181 阅读4分钟

介绍： 本次数据爬取只进行一些简单数据的爬取，如商品标题、价格、图片链接以及详情页中的销量、评价和送的天猫积分，相信看过这个博客后的小伙伴，一定可以把功能更加完善。

一、淘宝登录

有关登录这部分的话，不做讲解，想要知道的小伙伴可以参考我的另一篇博客Python爬虫：Selenium和动作链实现淘宝模拟登录，分析的很清楚。

二、准备

1.创建Scrapy的tTaobao项目

scrapy startproject Taobao

cd Taobao

scrapy genspider taobao "taobao.com"

在这里插入图片描述 有个这个文件，整个scrapy项目可以直接右键start.py运行，不用到命令行输入命令启动。 start.py

from scrapy import cmdline

cmdline.execute("scrapy crawl taobao".split())

2.更改setting配置文件 在这里插入图片描述

'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.116 Safari/537.36'

在这里插入图片描述 在这里插入图片描述

三、数据爬取、分析

分析以注释形式存在。

#数据爬取、分析
def parse(self, response):
		#由于我的start_urls = ['https://s.taobao.com/search?q=java&s=0']，直接请求会被拦截需要登录，此时的response格式为  <200 xxx.com> ,而xxx.com就是淘宝登录的网址，把它提取出来就ok
        response = str(response).split(" ")[1].replace(">","")
        bro = self.login(response)  #传入登陆网址进行模拟登录
        # print(response.text)
        num = 0
        for i in range(2):  #进行多页数据爬取
            url = "https://s.taobao.com/search?q=java&s=" + str(num)  #请求链接格式分析可参考上图1
            num += 44
            bro.get(url)  #get方式进行请求
            html = bro.page_source

            soup = BeautifulSoup(html, 'lxml')  #使用BeautifulSoup进行分析、爬取
            data_list = soup.find_all(class_='item J_MouserOnverReq')  #根据class拿到全部标签，参考图二
            for data in data_list:  #遍历
                data_soup = BeautifulSoup(str(data), 'lxml')
                
                # 图片链接
                #参考图三，根据class找到图片拿到其中的data-src属性数据
                #涉及到图片懒加载问题，data-src时真正存放图片地址的地方
                img_url = "http:" + data_soup.find(class_='J_ItemPic img')['data-src']
                
                # 图片价格，根据标签拿值，参考图四
                # 拿到标签中的文本内容要在后面加上.string
                price = data_soup.find('strong').string
                
                # 图片标题
                # 参考图五，根据class拿到img中的alt属性
                title = data_soup.find(class_='J_ItemPic img')['alt']
                
                # 详情页
                #参考图六，根据class拿到data-href原因与拿data-src一样
                detail_url = "https:" + data_soup.find(class_="pic-link J_ClickStat J_ItemPicA")["data-href"]

                bro.get(detail_url)  #请求详情页
                time.sleep(1)
                html_second = bro.page_source
                soup = BeautifulSoup(html_second, 'lxml')
				
				#因为有的商品是有销量、评价数量、积分的，但有的商品缺一个两个的。
				#由于find的特性，取不到值就会报异常，则我们使用try-except进行包裹，没有值时赋值为0
				
				#参考图七
                try:
                	#月销量
                    svolume = soup.find(class_="tm-ind-item tm-ind-sellCount").text.replace("月销量", "")
                except:
                    svolume = 0

                try:
                	#评价
                    evaluate = soup.find(class_="tm-ind-item tm-ind-reviewCount canClick tm-line3").text.replace("累计评价", "")
                except:
                    evaluate = 0

                try:
                	#赠送的积分
                    integral = soup.find(class_="tm-ind-item tm-ind-emPointCount").text.replace("送天猫积分", "")
                except:
                    integral = 0

                item = TaobaoItem(img_url=img_url, price=price, title=title, svolume=svolume, evaluate=evaluate,
                                  integral=integral, detail_url=detail_url)
                yield item

图一、 在这里插入图片描述

图二、 在这里插入图片描述 图三、 在这里插入图片描述

图四、 在这里插入图片描述

图五、 在这里插入图片描述

图六、 在这里插入图片描述

图七、 在这里插入图片描述

四、完整代码

taobao.py

# -*- coding: utf-8 -*-
import scrapy
from selenium import webdriver
import time
from PIL import Image
from selenium.webdriver import ActionChains
from bs4 import BeautifulSoup
from Taobao.items import TaobaoItem


class TaobaoSpider(scrapy.Spider):
    name = 'taobao'
    # allowed_domains = ['xxx.com']
    start_urls = ['https://s.taobao.com/search?q=java&s=0']


    #登录
    def login(self,url):
        bro = webdriver.Chrome()
        bro.maximize_window()
        time.sleep(1)

        bro.get(url)
        time.sleep(1)

        bro.find_element_by_class_name("icon-qrcode").click()
        time.sleep(3)

        # bro.find_element_by_name("fm-login-id").send_keys("淘宝账号")
        # time.sleep(1)
        # bro.find_element_by_name("fm-login-password").send_keys("淘宝密码")
        # time.sleep(1)
        #
        # # save_screenshot 就是将当前页面进行截图且保存
        # bro.save_screenshot('taobao.png')
        #
        # code_img_ele = bro.find_element_by_xpath("//*[@id='nc_1__scale_text']/span")
        # location = code_img_ele.location  # 验证码图片左上角的坐标 x,y
        # size = code_img_ele.size  # 验证码的标签对应的长和宽
        # # 左上角和右下角的坐标
        # rangle = (
        #     int(location['x']), int(location['y']), int(location['x'] + size['width']),
        #     int(location['y'] + size['height'])
        # )
        #
        # i = Image.open("./taobao.png")
        # # crop裁剪
        # frame = i.crop(rangle)
        #
        # # 动作链
        # action = ActionChains(bro)
        # # 长按且点击
        # action.click_and_hold(code_img_ele)
        #
        # # move_by_offset(x,y) x水平方向,y竖直方向
        # # perform()让动作链立即执行
        # action.move_by_offset(270, 0).perform()
        # time.sleep(0.5)
        #
        # # 释放动作链
        # action.release()
        # # 登录
        # bro.find_element_by_xpath("//*[@id='login-form']/div[4]/button").click()
        return bro


	#数据爬取
    def parse(self, response):
        response = str(response).split(" ")[1].replace(">","")
        bro = self.login(response)
        # print(response.text)
        num = 0
        for i in range(2):
            url = "https://s.taobao.com/search?q=java&s=" + str(num)
            num += 44
            bro.get(url)
            html = bro.page_source

            soup = BeautifulSoup(html, 'lxml')
            data_list = soup.find_all(class_='item J_MouserOnverReq')
            for data in data_list:
                data_soup = BeautifulSoup(str(data), 'lxml')
                # 图片链接
                img_url = "http:" + data_soup.find(class_='J_ItemPic img')['data-src']
                # 图片价格
                price = data_soup.find('strong').string
                # 图片标题
                title = data_soup.find(class_='J_ItemPic img')['alt']
                # 详情页
                detail_url = "https:" + data_soup.find(class_="pic-link J_ClickStat J_ItemPicA")["data-href"]

                bro.get(detail_url)
                time.sleep(1)
                html_second = bro.page_source
                soup = BeautifulSoup(html_second, 'lxml')

                try:
                    svolume = soup.find(class_="tm-ind-item tm-ind-sellCount").text.replace("月销量", "")
                except:
                    svolume = 0

                try:
                    evaluate = soup.find(class_="tm-ind-item tm-ind-reviewCount canClick tm-line3").text.replace("累计评价", "")
                except:
                    evaluate = 0

                try:
                    integral = soup.find(class_="tm-ind-item tm-ind-emPointCount").text.replace("送天猫积分", "")
                except:
                    integral = 0

				#处理获取的的数据，做数据清洗
                item = TaobaoItem(img_url=img_url, price=price, title=title, svolume=svolume, evaluate=evaluate,
                                  integral=integral, detail_url=detail_url)
                yield item

items.py

# -*- coding: utf-8 -*-

# Define here the models for your scraped items
#
# See documentation in:
# https://docs.scrapy.org/en/latest/topics/items.html

import scrapy


class TaobaoItem(scrapy.Item):
    img_url = scrapy.Field()
    price = scrapy.Field()
    title = scrapy.Field()
    svolume = scrapy.Field()
    evaluate = scrapy.Field()
    integral = scrapy.Field()
    detail_url = scrapy.Field()

pipelines.py 保存数据到mysql 在这里插入图片描述 数据库建表语句

CREATE TABLE `taobao` (
  `id` int(11) NOT NULL AUTO_INCREMENT,
  `img_url` varchar(255) DEFAULT NULL,
  `title` varchar(255) DEFAULT NULL,
  `price` decimal(10,2) DEFAULT NULL,
  `svolume` varchar(255) DEFAULT NULL,
  `evaluate` varchar(255) DEFAULT NULL,
  `integral` varchar(255) DEFAULT NULL,
  `detail_url` varchar(255) DEFAULT NULL,
  PRIMARY KEY (`id`)
) ENGINE=InnoDB AUTO_INCREMENT=7 DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_0900_ai_ci;

# -*- coding: utf-8 -*-

# Define your item pipelines here
#
# Don't forget to add your pipeline to the ITEM_PIPELINES setting
# See: https://docs.scrapy.org/en/latest/topics/item-pipeline.html
import pymysql

class TaobaoPipeline:
    def __init__(self):
        dbparams = {
            'host': '127.0.0.1',
            'port': 3306,
            'user': '账号',
            'password': '密码',
            'database': '数据库名', 
            'charset': 'utf8'
        }
        self.conn = pymysql.connect(**dbparams)
        self.cursor = self.conn.cursor()
        self._sql = None

    def process_item(self, item, spider):
        self.cursor.execute(self.sql,(item['img_url'],item['title'],item['price'],
                                      item['svolume'],item['evaluate'],item['integral'],item['detail_url']))
        self.conn.commit()
        return item

    @property
    def sql(self):
        if not self._sql:
            self._sql = """
                insert into taobao(id,img_url,title,price,svolume,evaluate,integral,detail_url)
                values(null ,%s,%s,%s,%s,%s,%s,%s)
            """
            return self._sql
        return self._sql

此次博客到此结束，觉得不错的小伙伴可以点赞关注和收藏哦！ 博主更多博客

avatar
文章
阅读
粉丝
相关推荐
27岁程序媛未来的出路到底在哪里？
222k阅读
 · 
1.9k点赞
京东一面：post为什么会发送两次请求？🤪🤪🤪
248k阅读
 · 
3.0k点赞
Python爬虫教程:入门爬取网页数据
3.9k阅读
 · 
8点赞
我是怎么在掘金找到老婆的
157k阅读
 · 
3.1k点赞
基于 ChatGPT 和 React 搭建 JSON 转 TS 的 Web 应用
254k阅读
 · 
214点赞
总是跳转到国内版(cn.bing.com)？New Bing使用全攻略
473k阅读
 · 
146点赞
年后被吊打的第一面
252k阅读
 · 
3.3k点赞
🔥我说MySQL每张表最好不超过2000万数据，面试官让我回去等通知？
143k阅读
 · 
1.8k点赞
「Python」爬虫-9.Scrapy框架的初识-公交信息爬取
1.6k阅读
 · 
9点赞
Scrapy实战之豆瓣top250电影信息的爬取
2.3k阅读
 · 
24点赞

友情链接：