设置

URLLENGTH_LIMIT¶

违约： 2083

经营范围： spidermiddlewares.urllength

允许爬网的URL的最大URL长度。

在URL长度不断增加的情况下，此设置可以作为停止条件，例如，这可能是由目标服务器或您的代码中的编程错误引起的。另请参阅 REDIRECT_MAX_TIMES 和 DEPTH_LIMIT 。

使用 0 以允许任何长度的URL。

默认值是从 Microsoft Internet Explorer maximum URL length ，即使此设置存在的原因不同。