笨鸟编程-零基础入门Pyhton教程 › 首页 ›Scrapy中文手册 › 查看内容

项目管道

项目管道示例¶

无价格的价格验证和删除项目¶

让我们看看下面的假设管道，它调整了 price 不包括增值税的项目的属性 (price_excludes_vat 属性），并删除不包含价格的项目：

from itemadapter import ItemAdapter
from scrapy.exceptions import DropItem
class PricePipeline:

    vat_factor = 1.15

    def process_item(self, item, spider):
        adapter = ItemAdapter(item)
        if adapter.get('price'):
            if adapter.get('price_excludes_vat'):
                adapter['price'] = adapter['price'] * self.vat_factor
            return item
        else:
            raise DropItem(f"Missing price in {item}")

将项目写入JSON文件¶

下面的管道将所有爬取的项目（从所有蜘蛛）存储到一个单独的管道中 items.jl 文件，每行包含一个以JSON格式序列化的项：

import json

from itemadapter import ItemAdapter

class JsonWriterPipeline:

    def open_spider(self, spider):
        self.file = open('items.jl', 'w')

    def close_spider(self, spider):
        self.file.close()

    def process_item(self, item, spider):
        line = json.dumps(ItemAdapter(item).asdict()) + "\n"
        self.file.write(line)
        return item