笨鸟编程-零基础入门Pyhton教程 › 首页 ›Scrapy中文手册 › 查看内容

Scrapy 教程

以下链接¶

比如说，你不需要从http://quotes.toscrape.com的前两页抓取内容，而是需要从网站上所有页面的引用。

既然您知道了如何从页面中提取数据，那么让我们看看如何从页面中跟踪链接。

第一件事是提取到我们要跟踪的页面的链接。检查我们的页面，我们可以看到有一个链接指向下一个带有以下标记的页面：

<ul class="pager">
    <li class="next">
        <a href="/page/2/">Next <span aria-hidden="true">&rarr;</span></a>
    </li>
</ul>

我们可以尝试在外壳中提取：

>>> response.css('li.next a').get()
'<a href="/page/2/">Next <span aria-hidden="true">→</span></a>'

这将获取anchor元素，但我们需要该属性 href . 为此，Scrapy支持CSS扩展，允许您选择属性内容，如下所示：

>>> response.css('li.next a::attr(href)').get()
'/page/2/'

还有一个 attrib 可用属性（请参见选择元素属性更多信息）：

>>> response.css('li.next a').attrib['href']
'/page/2/'

现在让我们看看我们的spider被修改为递归地跟踪下一页的链接，从中提取数据：

import scrapy


class QuotesSpider(scrapy.Spider):
    name = "quotes"
    start_urls = [
        'http://quotes.toscrape.com/page/1/',
    ]

    def parse(self, response):
        for quote in response.css('div.quote'):
            yield {
                'text': quote.css('span.text::text').get(),
                'author': quote.css('small.author::text').get(),
                'tags': quote.css('div.tags a.tag::text').getall(),
            }

        next_page = response.css('li.next a::attr(href)').get()
        if next_page is not None:
            next_page = response.urljoin(next_page)
            yield scrapy.Request(next_page, callback=self.parse)