可用的统计信息收集器¶除了基本的 StatsCollector Scrapy中还有其他可用的统计数据收集器,它们扩展了基本统计数据收集器。您可以通过 STATS_CLASS 设置。使用的默认统计信息收集器是 MemoryStatsCollector . MemoryStatsCollector¶- classscrapy.statscollectors.MemoryStatsCollector¶
一个简单的统计信息收集器,它在关闭后将上次(每个蜘蛛)抓取运行的统计信息保存在内存中。可以通过 spider_stats 属性,它是由蜘蛛域名键入的dict。 这是Scrapy中使用的默认统计信息收集器。 - spider_stats¶
包含每个蜘蛛最后一次抓取运行的统计信息的dict的dict(由蜘蛛名称键控)。
DummyStatsCollector¶- classscrapy.statscollectors.DummyStatsCollector¶
一个只做非常有效的统计数据收集器(因为它什么也不做)。此统计信息收集器可以通过 STATS_CLASS 设置,以禁用统计信息收集以提高性能。但是,与其他零碎的工作负载(如解析页面)相比,统计数据收集的性能损失通常是微乎其微的。
|