设置

DOWNLOAD_DELAY¶

违约： 0

下载者从同一网站下载连续页面之前应等待的时间（以秒计）。这可以用来限制爬行速度，以避免对服务器造成太大的冲击。支持十进制数。例子：：

DOWNLOAD_DELAY = 0.25    # 250 ms of delay

此设置也受 RANDOMIZE_DOWNLOAD_DELAY 设置（默认启用）。默认情况下，scrappy不会在请求之间等待固定的时间，而是使用0.5之间的随机间隔 * DOWNLOAD_DELAY and 1.5 * DOWNLOAD_DELAY .

什么时候？ CONCURRENT_REQUESTS_PER_IP 为非零，每个IP地址而不是每个域强制延迟。

您还可以通过设置每个蜘蛛更改此设置 download_delay 蜘蛛属性。

DOWNLOAD_HANDLERS¶

违约： {{}}

包含项目中启用的请求下载器处理程序的dict。见 DOWNLOAD_HANDLERS_BASE 例如格式。

DOWNLOAD_HANDLERS_BASE¶

违约：：

{
    'data': 'scrapy.core.downloader.handlers.datauri.DataURIDownloadHandler',
    'file': 'scrapy.core.downloader.handlers.file.FileDownloadHandler',
    'http': 'scrapy.core.downloader.handlers.http.HTTPDownloadHandler',
    'https': 'scrapy.core.downloader.handlers.http.HTTPDownloadHandler',
    's3': 'scrapy.core.downloader.handlers.s3.S3DownloadHandler',
    'ftp': 'scrapy.core.downloader.handlers.ftp.FTPDownloadHandler',
}

包含在scrappy中默认启用的请求下载处理程序的dict。您不应该在项目中修改此设置，请修改 DOWNLOAD_HANDLERS 相反。

您可以通过分配 None 到他们的URI方案 DOWNLOAD_HANDLERS . 例如，要禁用内置的ftp处理程序（不替换），请将其放入 settings.py ：：

DOWNLOAD_HANDLERS = {
    'ftp': None,
}

默认的HTTPS处理程序使用HTTP/1.1。要使用HTTP/2，请执行以下操作：

1. 安装 Twisted[http2]>=17.9.0 安装在Twisted中启用HTTP/2支持所需的软件包。

2. 更新 DOWNLOAD_HANDLERS 详情如下：

   DOWNLOAD_HANDLERS = {
       'https': 'scrapy.core.downloader.handlers.http2.H2DownloadHandler',
   }
   

DOWNLOAD_TIMEOUT¶

违约： 180

下载程序在超时前等待的时间（以秒计）。

DOWNLOAD_MAXSIZE¶

违约： 1073741824 （1024MB）

下载程序将下载的最大响应大小（字节）。

如果要禁用它，请将其设置为0。