使用 Scrapy 和 Django 实现登录、爬取和持久化数据的完整流程，可以通过以下步骤完成：
- 创建 Django 项目和数据库模型：定义一个存储爬取数据的数据库模型。
- 创建 Scrapy 项目：实现登录并抓取目标页面的数据。
- 整合 Scrapy 和 Django：在 Scrapy 中使用 Django 的模型保存爬取的数据到数据库。.
问题背景
在将 Django 和 Scrapy 成功集成后，用户想要持久化爬取到的数据到数据库中。但是，存储后发现，部分元素丢失了。用户猜测自己可能遗漏了一些东西，但无法解决。
以下是用户的爬虫代码：
from scrapy.http import FormRequest, Request
from scrapy.spider import BaseSpider
from scrapy.selector import HtmlXPathSelector
from scrapy import log
from scrapy.contrib.loader import XPathItemLoader
from datacrowdscrapy.items import DatacrowdItem
class DatacrowdSpider(BaseSpider):
name = 'datacrowd'
start_urls = ['https://www.exemple.com/login']
def parse(self, response):
parsed = [FormRequest.from_response(
response,
formdata={
'login': 'email@gmail.com',
'password': 'password'
},
callback=self.after_login)]
return parsed
def after_login(self, response):
# check login succeed before going on
if "authentication failed" in response.body:
self.log("Login failed", level=log.ERROR)
return
selector = HtmlXPathSelector(response)
investmentsLinks = selector.select('//a[contains(@class, "myClass")]/@href').extract()
for link in investmentsLinks:
curDatacrowdItem = XPathItemLoader(item=DatacrowdItem(), response=response)
curDatacrowdItem.add_value('url', link)
curRequest = Request(url=link, callback=self.parse_investments, meta={'item': curDatacrowdItem})
yield curRequest
def parse_investments(self, response):
selector = HtmlXPathSelector(response)
curDatacrowdItem = response.meta['item']
# Details
details = selector.select('//td/div[contains(@class, "myClass")]/text()').extract()
curDatacrowdItem.add_value('someVal', details[0].strip())
/* ... */
# Get nbInvestors
investorLink = selector.select('//ul[contains(@id, "myId")]/li/@onclick').re(r'window.location.href='(http.+/data.+)'')
curRequest = Request(url=investorLink[0], callback=self.parse_investors, meta={'item': curDatacrowdItem})
yield curRequest
# Get last company details
detailsLink = selector.select('//ul[contains(@id, "myData")]/li/@onclick').re(r'window.location.href='(http.+/company-details.+)'')
curRequest = Request(url=detailsLink[0], callback=self.parse_details, meta={'item': curDatacrowdItem})
yield curRequest
def parse_investors(self, response):
selector = HtmlXPathSelector(response)
curDatacrowdItem = response.meta['item']
nbInvestors = len(selector.select('//ul/li[contains(@class, "myClass")]'))
curDatacrowdItem.add_value('nbInvestors', nbInvestors)
return curDatacrowdItem
def parse_details(self, response):
selector = HtmlXPathSelector(response)
curDatacrowdItem = response.meta['item']
# Company name
name = selector.select('//div[contains(@class, "myClass")]/h2/text()').extract()
curDatacrowdItem.add_value('name', name[0].strip())
item = curDatacrowdItem.load_item()
item.save() # Here I'm persisiting datas
return item
用户收到的错误日志如下：
[datacrowd] ERROR: Spider must return Request, BaseItem or None, got 'XPathItemLoader' in <GET http://www.exemple.com/url/slug>
解决方案
用户犯的错误是，他正在返回一个 XPathItemLoader 对象，而不是一个 Item 对象。在 "after_login" 方法中，用户将一个 XPathItemLoader 对象添加到 meta 中，然后尝试在稍后返回它。正确的做法是使用 load_item 方法来返回 Item 对象。
要解决这个问题，用户可以将以下代码添加到 "after_login" 方法中：
curRequest = Request(url=link, callback=self.parse_investments, meta={'item': curDatacrowdItem.load_item()})
另外，建议用户重命名变量，以避免类似的错误。
总结
这段代码展示了如何结合 Scrapy 和 Django 登录、抓取和持久化数据的基本流程。这个组合适用于需要在 Web 项目中自动抓取并存储数据的需求，如商品数据爬取。
