命令行工具

解析¶

• Syntax： scrapy parse <url> [options]

• 需要项目： yes

获取给定的URL，并使用处理它的spider，使用 --callback 选项，或 parse 如果没有给出。

支持的选项：

• --spider=SPIDER ：绕过Spider自动检测并强制使用特定Spider

• --a NAME=VALUE ：set spider参数（可以重复）

• --callback 或 -c ：用作分析响应的回调的spider方法

• --meta 或 -m ：将传递给回调请求的附加请求元。这必须是有效的JSON字符串。示例：--meta='“foo”：“bar”'

• --cbkwargs ：将传递给回调的其他关键字参数。这必须是有效的JSON字符串。示例：--cbkwargs='“foo”：“bar”'

• --pipelines ：通过管道处理项目

• --rules 或 -r 使用 CrawlSpider 发现用于解析响应的回调（即spider方法）的规则

• --noitems ：不显示爬取的项目

• --nolinks ：不显示提取的链接

• --nocolour ：避免使用Pygments对输出着色

• --depth 或 -d ：应递归执行请求的深度级别（默认值：1）

• --verbose 或 -v ：显示每个深度级别的信息

• --output 或 -o ：将刮取的项目转储到文件

  2.3 新版功能.

使用实例：

$ scrapy parse http://www.example.com/ -c parse_item
[ ... scrapy log lines crawling example.com spider ... ]

>>> STATUS DEPTH LEVEL 1 <<<
# Scraped Items  ------------------------------------------------------------
[{'name': 'Example item',
 'category': 'Furniture',
 'length': '12 cm'}]

# Requests  -----------------------------------------------------------------
[]