笨鸟编程-零基础入门Pyhton教程

 找回密码
 立即注册

蜘蛛中间件

发布者: 笨鸟自学网



classscrapy.spidermiddlewares.referer.UnsafeUrlPolicy[源代码]

https://www.w3.org/tr/referer-policy/referer-policy-unsafe-url

“不安全的URL”策略指定一个完整的URL,被剥离用作引用,与来自特定请求客户端的跨源请求和同一源请求一起发送。

注意:保险单的名称不是谎言,它是不安全的。此策略将泄漏从受TLS保护的资源到不安全源的源和路径。仔细考虑为可能敏感的文档设置此类策略的影响。

警告

不建议使用“不安全URL”策略。

UrlLengthMiddleware

classscrapy.spidermiddlewares.urllength.UrlLengthMiddleware[源代码]

筛选出URL超过URL长度限制的请求

这个 UrlLengthMiddleware 可以通过以下设置进行配置(有关详细信息,请参阅设置文档):

  • URLLENGTH_LIMIT -允许已爬网URL的最大URL长度。

123456
上一篇:下载器中间件下一篇:扩展

Archiver|手机版|笨鸟自学网 ( 粤ICP备20019910号 )

GMT+8, 2024-9-8 11:03 , Processed in 0.036965 second(s), 17 queries .

© 2001-2020

返回顶部