在蜘蛛中提取数据¶让我们回到蜘蛛身边。到目前为止，它还没有提取任何数据，特别是将整个HTML页面保存到一个本地文件中。让我们把上面的提取逻辑集成到蜘蛛中。 剪贴蜘蛛通常会生成许多字典，其中包含从页面中提取的数据。为此，我们使用 import scrapy
class QuotesSpider(scrapy.Spider):
name = "quotes"
start_urls = [
'http://quotes.toscrape.com/page/1/',
'http://quotes.toscrape.com/page/2/',
]
def parse(self, response):
for quote in response.css('div.quote'):
yield {
'text': quote.css('span.text::text').get(),
'author': quote.css('small.author::text').get(),
'tags': quote.css('div.tags a.tag::text').getall(),
}
如果运行这个spider，它将用日志输出提取的数据： 2016-09-19 18:57:19 [scrapy.core.scraper] DEBUG: Scraped from <200 http://quotes.toscrape.com/page/1/>
{'tags': ['life', 'love'], 'author': 'André Gide', 'text': '“It is better to be hated for what you are than to be loved for what you are not.”'}
2016-09-19 18:57:19 [scrapy.core.scraper] DEBUG: Scraped from <200 http://quotes.toscrape.com/page/1/>
{'tags': ['edison', 'failure', 'inspirational', 'paraphrased'], 'author': 'Thomas A. Edison', 'text': "“I have not failed. I've just found 10,000 ways that won't work.”"}
存储抓取的数据¶存储抓取数据的最简单方法是使用 Feed exports ，使用以下命令：： scrapy crawl quotes -O quotes.json
这将生成一个 这个 scrapy crawl quotes -o quotes.jl
这个 JSON Lines 格式很有用，因为它类似于流，您可以很容易地向它附加新记录。当您运行两次时，它不存在相同的JSON问题。另外，由于每个记录都是单独的一行，因此您可以处理大文件，而不必将所有内容都放入内存中，因此有如下工具： JQ 以帮助在命令行中执行此操作。 在小项目中（如本教程中的项目），这就足够了。但是，如果您想对爬取的项目执行更复杂的操作，可以编写一个 Item Pipeline . 项目创建时已为您设置了项目管道的占位符文件，位于 |
Archiver|手机版|笨鸟自学网 ( 粤ICP备20019910号 )
GMT+8, 2024-9-8 11:47 , Processed in 0.047950 second(s), 17 queries .
