下载器中间件

编写自己的存储后端¶

您可以通过创建定义下面描述的方法的python类来实现缓存存储后端。

classscrapy.extensions.httpcache.CacheStorage¶

open_spider(spider)¶

在打开蜘蛛进行爬行后调用此方法。它处理 open_spider 信号。

参数

spider (Spider object) -- 已经打开的蜘蛛

close_spider(spider)¶

关闭spider后调用此方法。它处理 close_spider 信号。

参数

spider (Spider object) -- 已关闭的蜘蛛

retrieve_response(spider, request)¶

如果缓存中存在，则返回响应，或者 None 否则。

参数

• spider (Spider object) -- 生成请求的蜘蛛

• request (Request object) -- 查找的缓存响应的请求

store_response(spider, request, response)¶

将给定的响应存储在缓存中。

参数

• spider (Spider object) -- 响应所针对的蜘蛛

• request (Request object) -- 蜘蛛生成的相应请求

• response (Response object) -- 存储在缓存中的响应

要使用存储后端，请设置：

• HTTPCACHE_STORAGE 到自定义存储类的python导入路径。