2.2 新版功能. - scrapy.signals.bytes_received(data, request, spider)¶
当收到特定请求的一组字节时，由http1.1和S3下载处理程序发送。对于同一请求，此信号可能被多次触发，每次都有部分数据。例如，一个25kb响应的可能场景是两个信号用10kb的数据触发，最后一个信号用5kb的数据触发。 此信号的处理程序可以在响应下载正在进行时停止下载，方法是引发 StopDownload 例外情况。请参阅 停止下载响应 主题，了解更多信息和示例。 此信号不支持从其处理程序返回延迟。 - 参数
data (bytes object) -- 下载处理程序接收的数据 request (Request object) -- 生成下载的请求 spider (Spider object) -- 与响应关联的蜘蛛
响应信号¶response_received¶- scrapy.signals.response_received(response, request, spider)¶
当发动机接收到新的 Response 从下载程序。 此信号不支持从其处理程序返回延迟。 - 参数
response (Response object) -- 收到的响应 request (Request object) -- 生成响应的请求 spider (Spider object) -- 响应所针对的蜘蛛
注解 这个 request 参数可能不包含到达下载程序的原始请求，如果 下载器中间件 修改 Response 对象并设置特定的 request 属性。 response_downloaded¶- scrapy.signals.response_downloaded(response, request, spider)¶
由下载者在 HTTPResponse 是下载的。 此信号不支持从其处理程序返回延迟。 - 参数
response (Response object) -- 已下载响应 request (Request object) -- 生成响应的请求 spider (Spider object) -- 响应所针对的蜘蛛
|
