笨鸟编程-零基础入门Pyhton教程

 找回密码
 立即注册

请求和响应

发布者: 笨鸟自学网



响应对象

classscrapy.http.Response(*args**kwargs)[源代码]

表示HTTP响应的对象,通常下载(由Downloader)并提供给爬行器进行处理。

参数
  • url (str) -- 此响应的URL

  • status (int) -- 响应的HTTP状态。默认为 200 .

  • headers (dict) -- 此响应的头。dict值可以是字符串(对于单值头)或列表(对于多值头)。

  • body (bytes) -- 反应机构。要以字符串形式访问解码文本,请使用 response.text 从编码感知 Response subclass ,如 TextResponse .

  • flags (list) -- 是一个列表,其中包含 Response.flags 属性。如果给定,则将浅复制列表。

  • request (scrapy.Request) -- 的初始值 Response.request 属性。这代表 Request 产生了这个响应。

  • certificate (twisted.internet.ssl.Certificate) -- 表示服务器的SSL证书的对象。

  • ip_address (ipaddress.IPv4Address or ipaddress.IPv6Address) -- 从哪个服务器发出响应的IP地址。

  • protocol (str) -- 用于下载响应的协议。例如:“HTTP/1.0”、“HTTP/1.1”、“H2”

2.0.0 新版功能: 这个 certificate 参数。

2.1.0 新版功能: 这个 ip_address 参数。

2.5.0 新版功能: 这个 protocol 参数。

url

包含响应的URL的字符串。

此属性是只读的。要更改响应的URL,请使用 replace() .

status

表示响应的HTTP状态的整数。例子: 200 , 404 .

headers

包含响应头的类似字典的对象。可以使用访问值 get() 返回具有指定名称的第一个头值,或 getlist() 返回具有指定名称的所有头值。例如,此调用将为您提供标题中的所有cookie::

response.headers.getlist('Set-Cookie')
body

作为正文响应字节。

如果你想把身体作为一个字符串,使用 TextResponse.text (仅在 TextResponse 和子类)。

此属性是只读的。要更改响应主体,请使用 replace() .

request

这个 Request 生成此响应的对象。在响应和请求通过所有 Downloader Middlewares . 特别是,这意味着:

  • HTTP重定向将导致将原始请求(重定向前的URL)分配给重定向响应(重定向后的最终URL)。

  • response.request.url并不总是等于response.url

  • 此属性仅在spider代码和 Spider Middlewares ,但在下载器中间软件(尽管您通过其他方式有可用的请求)和 response_downloaded 信号。

meta

到的快捷方式 Request.meta 的属性 Response.request 对象(即。 self.request.meta )

不像 Response.request 属性 Response.meta 属性是沿着重定向和重试传播的,因此您将获得原始的 Request.meta 从你的蜘蛛那里送来的。

参见

Request.meta 属性

cb_kwargs

2.0 新版功能.

到的快捷方式 Request.cb_kwargs 的属性 Response.request 对象(即。 self.request.cb_kwargs )

不像 Response.request 属性 Response.cb_kwargs 属性是沿着重定向和重试传播的,因此您将获得原始的 Request.cb_kwargs 从你的蜘蛛那里送来的。

参见

Request.cb_kwargs 属性

flags

包含此响应标志的列表。标记是用于标记响应的标签。例如: 'cached' , 'redirected '等,它们显示在响应的字符串表示形式上 (__str__ 方法)由引擎用于日志记录。


上一篇:Feed 导出下一篇:链接提取器

Archiver|手机版|笨鸟自学网 ( 粤ICP备20019910号 )

GMT+8, 2024-10-18 13:50 , Processed in 0.032756 second(s), 17 queries .

© 2001-2020

返回顶部