下载器中间件

REDIRECT_ENABLED¶

违约： True

是否启用重定向中间件。

REDIRECT_MAX_TIMES¶

违约： 20

单个请求将遵循的最大重定向数。在这个最大值之后，请求的响应按原样返回。

MetaRefreshMiddleware¶

classscrapy.downloadermiddlewares.redirect.MetaRefreshMiddleware[源代码]¶

此中间件处理基于meta-refresh html标记的请求重定向。

这个 MetaRefreshMiddleware 可以通过以下设置进行配置（有关详细信息，请参阅设置文档）：

• METAREFRESH_ENABLED

• METAREFRESH_IGNORE_TAGS

• METAREFRESH_MAXDELAY

这个中间件服从 REDIRECT_MAX_TIMES 设置， dont_redirect ， redirect_urls 和 redirect_reasons 按说明请求元键 RedirectMiddleware

RetryMiddleware¶

classscrapy.downloadermiddlewares.retry.RetryMiddleware¶

一种中间件，用于重试可能由临时问题（如连接超时或HTTP 500错误）引起的失败请求。

一旦爬行器完成对所有常规（非失败）页面的爬行，将在抓取过程中收集失败的页面，并在最后重新安排。

这个 RetryMiddleware 可以通过以下设置进行配置（有关详细信息，请参阅设置文档）：

• RETRY_ENABLED

• RETRY_TIMES

• RETRY_HTTP_CODES

如果 Request.meta 有 dont_retry 键设置为True，则此中间件将忽略该请求。

若要重试来自爬行器回调的请求，可以使用 get_retry_request() 功能：