笨鸟编程-零基础入门Pyhton教程

 找回密码
 立即注册

设置

发布者: 笨鸟自学网



DOWNLOADER_HTTPCLIENTFACTORY

违约: 'scrapy.core.downloader.webclient.ScrapyHTTPClientFactory'

定义扭曲 protocol.ClientFactory 用于HTTP/1.0连接的类(用于 HTTP10DownloadHandler )

注解

现在很少使用HTTP/1.0,所以您可以安全地忽略此设置,除非您确实想使用HTTP/1.0并重写 DOWNLOAD_HANDLERS 对于 http(s) 相应的计划,即 'scrapy.core.downloader.handlers.http.HTTP10DownloadHandler' .

DOWNLOADER_CLIENTCONTEXTFACTORY

违约: 'scrapy.core.downloader.contextfactory.ScrapyClientContextFactory'

表示要使用的ContextFactory的类路径。

这里,“ContextFactory”是一个用于SSL/TLS上下文的扭曲术语,它定义了要使用的TLS/SSL协议版本,无论是进行证书验证,还是甚至启用客户端身份验证(以及其他各种事情)。

注解

剪贴默认上下文工厂 不执行远程服务器证书验证 . 这通常对爬取Web很好。

如果您确实需要启用远程服务器证书验证,scrapy还可以设置另一个上下文工厂类, 'scrapy.core.downloader.contextfactory.BrowserLikeContextFactory' ,它使用平台的证书来验证远程端点。

如果确实使用自定义ContextFactory,请确保 __init__ 方法接受 method 参数(这是 OpenSSL.SSL 方法映射 DOWNLOADER_CLIENT_TLS_METHOD a) tls_verbose_logging 参数 (bool 和A tls_ciphers 参数(见) DOWNLOADER_CLIENT_TLS_CIPHERS 

DOWNLOADER_CLIENT_TLS_CIPHERS

违约: 'DEFAULT'

使用此设置可自定义默认HTTP/1.1下载器使用的TLS/SSL密码。

该设置应包含 OpenSSL cipher list format ,这些密码将用作客户端密码。更改此设置可能是访问某些HTTPS网站所必需的:例如,您可能需要使用 'DEFAULT:!DH' 对于DH参数较弱的网站,或启用未包含在中的特定密码 DEFAULT 如果网站需要的话。

DOWNLOADER_CLIENT_TLS_METHOD

违约: 'TLS'

使用此设置自定义默认HTTP/1.1下载程序使用的TLS/SSL方法。

此设置必须是以下字符串值之一:

  • 'TLS' :映射到OpenSSL TLS_method() (A.K.A) SSLv23_method() ,允许协议协商,从平台支持的最高点开始; 默认,推荐

  • 'TLSv1.0' :此值强制HTTPS连接使用TLS版本1.0;如果希望scrapy的行为小于1.1,请设置此值。

  • 'TLSv1.1' :强制TLS版本1.1

  • 'TLSv1.2' :强制TLS版本1.2

  • 'SSLv3' :强制SSL版本3( 未推荐的 )

DOWNLOADER_CLIENT_TLS_VERBOSE_LOGGING

违约: False

设置为 True 将在建立HTTPS连接后启用有关TLS连接参数的调试级别消息。记录的信息类型取决于openssl和pyopenssl的版本。

此设置仅用于默认 DOWNLOADER_CLIENTCONTEXTFACTORY .

DOWNLOADER_MIDDLEWARES

违约:: {{}}

包含项目中启用的下载器中间软件及其订单的dict。有关详细信息,请参阅 激活下载器中间件 .

DOWNLOADER_MIDDLEWARES_BASE

违约::

{
    'scrapy.downloadermiddlewares.robotstxt.RobotsTxtMiddleware': 100,
    'scrapy.downloadermiddlewares.httpauth.HttpAuthMiddleware': 300,
    'scrapy.downloadermiddlewares.downloadtimeout.DownloadTimeoutMiddleware': 350,
    'scrapy.downloadermiddlewares.defaultheaders.DefaultHeadersMiddleware': 400,
    'scrapy.downloadermiddlewares.useragent.UserAgentMiddleware': 500,
    'scrapy.downloadermiddlewares.retry.RetryMiddleware': 550,
    'scrapy.downloadermiddlewares.ajaxcrawl.AjaxCrawlMiddleware': 560,
    'scrapy.downloadermiddlewares.redirect.MetaRefreshMiddleware': 580,
    'scrapy.downloadermiddlewares.httpcompression.HttpCompressionMiddleware': 590,
    'scrapy.downloadermiddlewares.redirect.RedirectMiddleware': 600,
    'scrapy.downloadermiddlewares.cookies.CookiesMiddleware': 700,
    'scrapy.downloadermiddlewares.httpproxy.HttpProxyMiddleware': 750,
    'scrapy.downloadermiddlewares.stats.DownloaderStats': 850,
    'scrapy.downloadermiddlewares.httpcache.HttpCacheMiddleware': 900,
}

包含默认在scrappy中启用的下载器中间软件的dict。低阶更接近引擎,高阶更接近下载器。您不应该在项目中修改此设置,请修改 DOWNLOADER_MIDDLEWARES 相反。有关详细信息,请参阅 激活下载器中间件 .


上一篇:链接提取器下一篇:例外情况

Archiver|手机版|笨鸟自学网 ( 粤ICP备20019910号 )

GMT+8, 2024-9-8 11:47 , Processed in 0.014471 second(s), 17 queries .

© 2001-2020

返回顶部