设置

SPIDER_LOADER_WARN_ONLY¶

违约： False

默认情况下，当Scrapy试图从 SPIDER_MODULES 如果有的话，它会很响地失效。 ImportError 例外。但是您可以选择沉默这个异常，并通过设置将它变成一个简单的警告 SPIDER_LOADER_WARN_ONLY = True .

SPIDER_MIDDLEWARES¶

违约：： {{}}

包含项目中启用的蜘蛛中间件及其订单的dict。有关详细信息，请参阅 激活蜘蛛中间件 .

SPIDER_MIDDLEWARES_BASE¶

违约：：

{
    'scrapy.spidermiddlewares.httperror.HttpErrorMiddleware': 50,
    'scrapy.spidermiddlewares.offsite.OffsiteMiddleware': 500,
    'scrapy.spidermiddlewares.referer.RefererMiddleware': 700,
    'scrapy.spidermiddlewares.urllength.UrlLengthMiddleware': 800,
    'scrapy.spidermiddlewares.depth.DepthMiddleware': 900,
}

包含spider中间件的dict，默认情况下在scrappy中启用，以及它们的顺序。低阶更接近发动机，高阶更接近蜘蛛。有关详细信息，请参阅 激活蜘蛛中间件 .

SPIDER_MODULES¶

违约： []

Scrapy将在其中查找蜘蛛的模块列表。

例子：：

SPIDER_MODULES = ['mybot.spiders_prod', 'mybot.spiders_dev']

STATS_CLASS¶

违约： 'scrapy.statscollectors.MemoryStatsCollector'

用于收集统计信息的类，必须实现 统计收集器API .

STATS_DUMP¶

违约： True

转储 Scrapy stats （对着残破的木头）一旦蜘蛛完成。

有关详细信息，请参阅： 统计数据集合 .

STATSMAILER_RCPTS¶

违约： [] （空表）

蜘蛛完成爬取后发送残缺数据。见 StatsMailer 更多信息。