扩展

CLOSESPIDER_ITEMCOUNT¶

违约： 0

指定项数的整数。如果爬行器抓取的数量超过该数量，并且这些项通过项管道传递，则爬行器将关闭，原因是 closespider_itemcount 。如果为零(或未设置)，蜘蛛将不会按传递的项目数关闭。

CLOSESPIDER_PAGECOUNT¶

违约： 0

指定要爬网的最大响应数的整数。如果蜘蛛爬得比这个还多，蜘蛛会被关闭的，原因是 closespider_pagecount . 如果为零（或未设置），蜘蛛将不会被爬行响应的数量关闭。

CLOSESPIDER_ERRORCOUNT¶

违约： 0

一个整数，指定关闭蜘蛛之前要接收的最大错误数。如果spider生成的错误数量超过该数量，则会关闭它并说明原因。 closespider_errorcount . 如果为零（或未设置），蜘蛛将不会被错误数关闭。

StatsMailer扩展¶

classscrapy.extensions.statsmailer.StatsMailer¶

这个简单的扩展可用于在域完成抓取时发送通知电子邮件，包括收集到的残缺统计信息。电子邮件将发送给 STATSMAILER_RCPTS 设置。

电子邮件可以使用 MailSender 班级。查看完整的参数列表，包括有关如何实例化的示例 MailSender 和使用邮件设置，请参见 发送电子邮件 。

调试扩展¶