DOWNLOADER_HTTPCLIENTFACTORY¶违约: 定义扭曲 注解 现在很少使用HTTP/1.0,所以您可以安全地忽略此设置,除非您确实想使用HTTP/1.0并重写 DOWNLOADER_CLIENTCONTEXTFACTORY¶违约: 表示要使用的ContextFactory的类路径。 这里,“ContextFactory”是一个用于SSL/TLS上下文的扭曲术语,它定义了要使用的TLS/SSL协议版本,无论是进行证书验证,还是甚至启用客户端身份验证(以及其他各种事情)。 注解 剪贴默认上下文工厂 不执行远程服务器证书验证 . 这通常对爬取Web很好。 如果您确实需要启用远程服务器证书验证,scrapy还可以设置另一个上下文工厂类, 如果确实使用自定义ContextFactory,请确保 DOWNLOADER_CLIENT_TLS_CIPHERS¶违约: 使用此设置可自定义默认HTTP/1.1下载器使用的TLS/SSL密码。 该设置应包含 OpenSSL cipher list format ,这些密码将用作客户端密码。更改此设置可能是访问某些HTTPS网站所必需的:例如,您可能需要使用 DOWNLOADER_CLIENT_TLS_METHOD¶违约: 使用此设置自定义默认HTTP/1.1下载程序使用的TLS/SSL方法。 此设置必须是以下字符串值之一:
DOWNLOADER_CLIENT_TLS_VERBOSE_LOGGING¶违约: 设置为 此设置仅用于默认 DOWNLOADER_MIDDLEWARES¶违约:: 包含项目中启用的下载器中间软件及其订单的dict。有关详细信息,请参阅 激活下载器中间件 . DOWNLOADER_MIDDLEWARES_BASE¶违约:: {
'scrapy.downloadermiddlewares.robotstxt.RobotsTxtMiddleware': 100,
'scrapy.downloadermiddlewares.httpauth.HttpAuthMiddleware': 300,
'scrapy.downloadermiddlewares.downloadtimeout.DownloadTimeoutMiddleware': 350,
'scrapy.downloadermiddlewares.defaultheaders.DefaultHeadersMiddleware': 400,
'scrapy.downloadermiddlewares.useragent.UserAgentMiddleware': 500,
'scrapy.downloadermiddlewares.retry.RetryMiddleware': 550,
'scrapy.downloadermiddlewares.ajaxcrawl.AjaxCrawlMiddleware': 560,
'scrapy.downloadermiddlewares.redirect.MetaRefreshMiddleware': 580,
'scrapy.downloadermiddlewares.httpcompression.HttpCompressionMiddleware': 590,
'scrapy.downloadermiddlewares.redirect.RedirectMiddleware': 600,
'scrapy.downloadermiddlewares.cookies.CookiesMiddleware': 700,
'scrapy.downloadermiddlewares.httpproxy.HttpProxyMiddleware': 750,
'scrapy.downloadermiddlewares.stats.DownloaderStats': 850,
'scrapy.downloadermiddlewares.httpcache.HttpCacheMiddleware': 900,
}
包含默认在scrappy中启用的下载器中间软件的dict。低阶更接近引擎,高阶更接近下载器。您不应该在项目中修改此设置,请修改 |
Archiver|手机版|笨鸟自学网 ( 粤ICP备20019910号 )
GMT+8, 2024-11-21 21:36 , Processed in 0.087951 second(s), 17 queries .