项目管道¶项目管道负责处理被蜘蛛提取(或 爬取 )的项目。典型的任务包括清理、验证和持久性(如将项目存储在数据库中)。有关详细信息,请参阅 项目管道 . 下载器中心件¶下载器中间件是位于引擎和下载器之间的特定钩子,当它们从引擎传递到下载器时处理请求,以及从下载器传递到引擎的响应。 如果需要执行以下操作之一,请使用下载器中间件:
有关详细信息,请参阅 下载器中间件 . 蜘蛛中心件¶蜘蛛中间件是位于引擎和蜘蛛之间的特定钩子,能够处理蜘蛛的输入(响应)和输出(项目和请求)。 如果需要,使用蜘蛛中间件
有关详细信息,请参阅 蜘蛛中间件 . 事件驱动的网络¶Scrapy是用 Twisted 是一个流行的事件驱动的python网络框架。因此,它使用非阻塞(即异步)代码实现并发性。 |
Archiver|手机版|笨鸟自学网 ( 粤ICP备20019910号 )
GMT+8, 2024-9-8 09:48 , Processed in 0.016887 second(s), 17 queries .