笨鸟编程-零基础入门Pyhton教程 › 首页 ›Scrapy中文手册 › 查看内容

请求和响应

与请求相关的其他功能¶

scrapy.utils.request.request_from_dict(d: dict, *, spider: Optional[scrapy.spiders.Spider] = None)→ scrapy.http.request.Request[源代码]¶

创建 Request 词典中的对象。

如果给定了爬行器，它将尝试解析在爬行器中查找同名方法的回调。

向回调函数传递附加数据¶

请求的回调是一个函数，在下载请求的响应时将调用该函数。将使用下载的 Response 对象作为其第一个参数。

例子：：

def parse_page1(self, response):
    return scrapy.Request("http://www.example.com/some_page.html",
                          callback=self.parse_page2)

def parse_page2(self, response):
    # this would log http://www.example.com/some_page.html
    self.logger.info("Visited %s", response.url)

在某些情况下，您可能对向这些回调函数传递参数感兴趣，以便稍后在第二个回调中接收这些参数。下面的示例演示如何通过使用 Request.cb_kwargs 属性：

def parse(self, response):
    request = scrapy.Request('http://www.example.com/index.html',
                             callback=self.parse_page2,
                             cb_kwargs=dict(main_url=response.url))
    request.cb_kwargs['foo'] = 'bar'  # add more arguments for the callback
    yield request

def parse_page2(self, response, main_url, foo):
    yield dict(
        main_url=main_url,
        other_url=response.url,
        foo=foo,
    )