本文已参与「新人创作礼」活动，一起开启掘金创作之路。
这里是scrapy 的spider部分代码
Trick:构造构造请求头（postman，网站调试器，apipost，当然我推荐的是博客——— https://blog.csdn.net/weixin_45316122/article/details/93724746 [python3爬虫工具，将curl语法转化为python的requests爬虫 ]直接转化为python格式复制过来就行，几秒解决）
# -*- coding: utf-8 -*-
import scrapy
from scrapy.http import Request
from utils import deal_date, transfrom, get_id
from ..items import Item
import json
class XkSdl10822Spider(scrapy.Spider):
name = '****'
url = 'http://222.76.243.118:8090'
headers = {
'Origin': 'http://222.76.243.118:8090',
'Accept-Encoding': 'gzip, deflate',
'Accept-Language': 'zh-CN,zh;q=0.9',
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.131 Safari/537.36',
#这里必须有，才会有下面的解析方式
'Content-Type': 'application/json; charset=UTF-8',
'Accept': 'application/json, text/javascript, */*; q=0.01',
'Referer': '*********',
'Connection': 'keep-alive',
}
#构造起始start_requests
def start_requests(self):
#偷懒没写遍历去限制每次请求的数据，直接一下拿了，主要是为了后面增量考虑
data = {
'listSql': '',
'linesPerPage': "6704",
'currentPage': "1",
'deptId': '',
'searchKeyword': '',
'tag': 'ALLOW'
}
yield scrapy.Request(url=self.url, body=json.dumps(data), method='POST', headers=self.headers,callback=self.parse_list)
#把数据切割分成一页多少个
# def parse_page(self, response):
# self.parse_list(response)
# if self.page == 1:
#以下省略
def parse_list(self, response):
#返回json，转化python字典类型
tr1 = json.loads(response.text)
#把 tr1看成一个大字典，取键拿值
if tr1.get("message") == "请求成功":
data = tr1.get('data')#也可以写成 data = tr1.【'data'】下面类似
list = data.get('list')
#这里就是遍历每个json里面的数据了
for i in list:
