Scrapy中不同item由不同pipeline处理

pipeline的关键功能是“一个item可以按照settings.py里的配置，逐步被多个pipeline所处理”。

每一步的pipeline会修改item的一些内容（比如重复性检查、错误数据修复等），或者根据item的数据做不同处理（比如有的pipeline负责把item写入日志，有的pipeline负责把item写入数据库，有的pipeline负责把item通过http发出去）。

如果一个item只需要一次操作就可完成，那就在那个用isinstance判断item类型的pipeline里调用成员方法就行。

class myspiderPipeline(object):
    def __init__(self):
        self.file = open('myadata.json', 'wb')

    def process_item(self, item, spider):
        if isinstance(item, hahaItem):
            content = json.dumps(dict(item), ensure_ascii=False) + "\n"
            self.file.write(content)
            return item
        elif isinstance(item, nihaoItem):
            return item
        elif isinstance(item, helloItem):
            print item
            return item
            
    def close_spider(self, spider):
        self.file.close()