笨鸟编程-零基础入门Pyhton教程

 找回密码
 立即注册

统计数据集合

发布者: 笨鸟自学网



可用的统计信息收集器

除了基本的 StatsCollector Scrapy中还有其他可用的统计数据收集器,它们扩展了基本统计数据收集器。您可以通过 STATS_CLASS 设置。使用的默认统计信息收集器是 MemoryStatsCollector .

MemoryStatsCollector

classscrapy.statscollectors.MemoryStatsCollector

一个简单的统计信息收集器,它在关闭后将上次(每个蜘蛛)抓取运行的统计信息保存在内存中。可以通过 spider_stats 属性,它是由蜘蛛域名键入的dict。

这是Scrapy中使用的默认统计信息收集器。

spider_stats

包含每个蜘蛛最后一次抓取运行的统计信息的dict的dict(由蜘蛛名称键控)。

DummyStatsCollector

classscrapy.statscollectors.DummyStatsCollector

一个只做非常有效的统计数据收集器(因为它什么也不做)。此统计信息收集器可以通过 STATS_CLASS 设置,以禁用统计信息收集以提高性能。但是,与其他零碎的工作负载(如解析页面)相比,统计数据收集的性能损失通常是微乎其微的。

12
上一篇:登录下一篇:发送电子邮件

Archiver|手机版|笨鸟自学网 ( 粤ICP备20019910号 )

GMT+8, 2024-9-8 11:35 , Processed in 0.024759 second(s), 17 queries .

© 2001-2020

返回顶部