笨鸟编程-零基础入门Pyhton教程

 找回密码
 立即注册

命令行工具

发布者: 笨鸟自学网



控制性项目

你使用 scrapy 从项目内部使用工具来控制和管理它们。

例如,要创建新的蜘蛛:

scrapy genspider mydomain mydomain.com

一些下流的命令(比如 crawl )必须从零碎的项目内部运行。见 commands reference 下面是关于必须从项目内部运行哪些命令的详细信息,而不是。

还要记住,当从内部项目运行某些命令时,它们的行为可能略有不同。例如,fetch命令将使用蜘蛛重写的行为(例如 user_agent 属性来重写用户代理)如果要获取的URL与某个特定的蜘蛛相关联。这是故意的,因为 fetch 命令用于检查蜘蛛如何下载页面。

可用工具命令

本节包含可用的内置命令列表,其中包含说明和一些用法示例。记住,您可以通过运行以下命令获取有关每个命令的更多信息:

scrapy <command> -h

您可以使用以下命令查看所有可用命令:

scrapy -h

有两种命令,一种是只从零碎项目(特定于项目的命令)内部工作的命令,另一种是不使用活动零碎项目(全局命令)的命令,尽管从项目内部运行时它们的行为可能略有不同(因为它们将使用项目覆盖设置)。

全局命令:

  • startproject

  • genspider

  • settings

  • runspider

  • shell

  • fetch

  • view

  • version

仅Project命令:

  • crawl

  • check

  • list

  • edit

  • parse

  • bench

启动项目

  • Syntax: scrapy startproject <project_name> [project_dir]

  • 需要项目: no

创建一个名为 project_name 下 project_dir 目录。如果 project_dir 没有指定, project_dir 将与 project_name .

使用实例:

$ scrapy startproject myproject 

上一篇:Scrapy 教程下一篇:蜘蛛

Archiver|手机版|笨鸟自学网 ( 粤ICP备20019910号 )

GMT+8, 2024-9-8 11:02 , Processed in 0.041188 second(s), 17 queries .

© 2001-2020

返回顶部