扩展框架提供了一种将您自己的自定义功能插入到Scrapy中的机制。 扩展只是常规的类。 扩展设置¶扩展使用 Scrapy settings 管理他们的设置,就像任何其他零碎的代码一样。 扩展通常会在其设置前面加上自己的名称,以避免与现有(和将来)扩展冲突。例如,要处理的假设扩展 Google Sitemaps 将使用如下设置 加载和激活扩展¶通过实例化每个正在运行的爬行器的Extension类的单个实例,在启动时加载和激活扩展。所有扩展初始化代码都必须在类中执行 若要使扩展名可用,请将其添加到 EXTENSIONS = {
'scrapy.extensions.corestats.CoreStats': 500,
'scrapy.extensions.telnet.TelnetConsole': 500,
}
如你所见, 由于扩展通常不相互依赖,因此在大多数情况下,它们的加载顺序是不相关的。这就是为什么 可用、启用和禁用扩展¶并非所有可用的扩展都将启用。其中一些通常取决于特定的设置。例如,HTTP缓存扩展在默认情况下是可用的,但在 禁用扩展¶为了禁用默认启用的扩展(即 EXTENSIONS = {
'scrapy.extensions.corestats.CoreStats': None,
} |
Archiver|手机版|笨鸟自学网 ( 粤ICP备20019910号 )
GMT+8, 2024-9-8 09:20 , Processed in 0.021729 second(s), 17 queries .