笨鸟编程-零基础入门Pyhton教程 › 首页 ›Scrapy中文手册 › 查看内容

命令行工具

基因蜘蛛¶

Syntax： scrapy genspider [-t template] <name> <domain>
需要项目： no

在当前文件夹或当前项目的 spiders 文件夹（如果从项目内部调用）。这个 <name> 参数设置为spider的 name ，同时 <domain> 用于生成 allowed_domains 和 start_urls 蜘蛛的属性。

使用实例：

$ scrapy genspider -l
Available templates:
  basic
  crawl
  csvfeed
  xmlfeed

$ scrapy genspider example example.com
Created spider 'example' using template 'basic'

$ scrapy genspider -t crawl scrapyorg scrapy.org
Created spider 'scrapyorg' using template 'crawl'

这只是一个基于预先定义的模板创建spider的快捷命令，但肯定不是创建spider的唯一方法。您可以自己创建蜘蛛源代码文件，而不是使用这个命令。

爬行¶

Syntax： scrapy crawl <spider>
需要项目： yes

开始用蜘蛛爬行。

用法示例：

$ scrapy crawl myspider
[ ... myspider starts crawling ... ]

检查¶

Syntax： scrapy check [-l] <spider>
需要项目： yes

运行合同检查。

用法示例：

$ scrapy check -l
first_spider
  * parse
  * parse_item
second_spider
  * parse
  * parse_item

$ scrapy check
[FAILED] first_spider:parse_item
>>> 'RetailPricex' field is missing

[FAILED] first_spider:parse
>>> Returned 92 requests, expected 0..4 