笨鸟编程-零基础入门Pyhton教程 › 首页 ›Scrapy中文手册 › 查看内容

设置

DEPTH_PRIORITY¶

违约： 0

经营范围： scrapy.spidermiddlewares.depth.DepthMiddleware

一个整数，用于调整 priority 属于 Request 根据它的深度。

请求的优先级调整如下：

request.priority = request.priority - ( depth * DEPTH_PRIORITY )

随着深度的增加，正值为 DEPTH_PRIORITY 降低请求优先级（BFO），而负值则提高请求优先级（DFO）。也见 Scrapy是以广度优先还是深度优先的顺序爬行？ .

注解

此设置调整优先级以相反的方式与其他优先级设置相比 REDIRECT_PRIORITY_ADJUST 和 RETRY_PRIORITY_ADJUST .

DEPTH_STATS_VERBOSE¶

违约： False

经营范围： scrapy.spidermiddlewares.depth.DepthMiddleware

是否收集详细深度统计信息。如果启用此选项，则在统计信息中收集每个深度的请求数。

DNSCACHE_ENABLED¶

违约： True

是否启用DNS内存缓存。

DNSCACHE_SIZE¶

违约： 10000

DNS内存缓存大小。

DNS_RESOLVER¶

2.0 新版功能.

违约： 'scrapy.resolver.CachingThreadedResolver'

用于解析DNS名称的类。违约 scrapy.resolver.CachingThreadedResolver 支持通过指定DNS请求的超时 DNS_TIMEOUT 设置，但仅适用于IPv4地址。Scrapy提供了另一种解决方案， scrapy.resolver.CachingHostnameResolver ，它支持IPv4/IPv6地址，但不使用 DNS_TIMEOUT 考虑在内。