AutoThrottle 扩展

AUTOTHROTTLE_ENABLED¶

违约： False

启用AutoThrottle 扩展。

AUTOTHROTTLE_START_DELAY¶

违约： 5.0

初始下载延迟（秒）。

AUTOTHROTTLE_MAX_DELAY¶

违约： 60.0

在高延迟情况下设置的最大下载延迟（秒）。

AUTOTHROTTLE_TARGET_CONCURRENCY¶

违约： 1.0

Scrapy的平均请求数应与远程网站并行发送。

默认情况下，autothrottle会调整延迟以向每个远程网站发送单个并发请求。将此选项设置为更高的值（例如 2.0 ）以增加远程服务器的吞吐量和负载。下层 AUTOTHROTTLE_TARGET_CONCURRENCY 价值（例如） 0.5 ）让爬虫人更加保守和礼貌。

注意 CONCURRENT_REQUESTS_PER_DOMAIN 和 CONCURRENT_REQUESTS_PER_IP 启用 AutoThrottle 扩展功能时，仍会遵循选项。这意味着如果 AUTOTHROTTLE_TARGET_CONCURRENCY 设置为大于的值 CONCURRENT_REQUESTS_PER_DOMAIN 或 CONCURRENT_REQUESTS_PER_IP ，爬虫程序将无法达到此数量的并发请求。

在每个给定的时间点上，scrapy可以发送的并发请求多于或少于 AUTOTHROTTLE_TARGET_CONCURRENCY ；这是爬虫尝试接近的建议值，而不是硬限制。

AUTOTHROTTLE_DEBUG¶

违约： False

启用 AutoThrottle 调试模式，该模式将显示收到的每个响应的统计信息，以便您可以看到如何实时调整节流参数。