作业：暂停和恢复爬行

作业目录¶

要启用持久性支持，只需定义 作业目录 通过 JOBDIR 设置。此目录将用于存储所有必需的数据，以保持单个作业（即spider运行）的状态。需要注意的是，该目录不能由不同的spider共享，甚至不能由同一spider的不同作业/运行共享，因为它是用来存储 单一的 工作。

如何使用它¶

要在启用持久性支持的情况下启动spider，请按如下方式运行：

scrapy crawl somespider -s JOBDIR=crawls/somespider-1

然后，您可以随时安全地停止蜘蛛（通过按ctrl-c或发送信号），然后通过发出相同的命令恢复蜘蛛：

scrapy crawl somespider -s JOBDIR=crawls/somespider-1

保持批之间的持久状态¶

有时您需要在暂停/恢复批处理之间保持一些持久的蜘蛛状态。你可以使用 spider.state 属性，它应该是dict。当spider启动和停止时，有一个内置扩展负责从作业目录序列化、存储和加载该属性。

下面是一个使用spider状态的回调示例（为了简洁起见，省略了其他spider代码）：

def parse_item(self, response):
    # parse item here
    self.state['items_count'] = self.state.get('items_count', 0) + 1

持久性问题¶

如果您想使用零碎的持久性支持，需要记住以下几点：