笨鸟编程-零基础入门Pyhton教程

 找回密码
 立即注册

蜘蛛中间件

发布者: 笨鸟自学网



警告

Scrapy的默认引用策略-就像 "no-referrer-when-downgrade" ,W3C推荐的浏览器值-将从任何 http(s):// 对任何 https:// URL,即使域不同。

"same-origin" 如果要删除跨域请求的引用者信息,可能是更好的选择。

classscrapy.spidermiddlewares.referer.NoReferrerPolicy[源代码]

https://www.w3.org/tr/referer-policy/referer-policy-no-referer

最简单的策略是“无引用”,它指定不将引用信息与从特定请求客户机发出的请求一起发送到任何源站。标题将完全省略。

classscrapy.spidermiddlewares.referer.NoReferrerWhenDowngradePolicy[源代码]

https://www.w3.org/tr/referer-policy/降级时没有referer-policy

“降级时不引用”策略将完整的URL以及来自受TLS保护的环境设置对象的请求发送到可能值得信任的URL,以及来自不受TLS保护的客户端的请求发送到任何源站。

另一方面,来自受TLS保护的客户端对不可能可信的URL的请求将不包含引用者信息。将不发送引用HTTP头。

如果没有另外指定策略,这是用户代理的默认行为。

注解

“降级时不引用”策略是W3C推荐的默认策略,主要Web浏览器使用该策略。

但是,它不是Scrapy的默认引用者策略(请参见 DefaultReferrerPolicy 

classscrapy.spidermiddlewares.referer.SameOriginPolicy[源代码]

https://www.w3.org/tr/referer-policy/referer-policy-same-origin

“同一来源”策略指定,当从特定请求客户端发出同一来源请求时,删除作为引用的完整URL作为引用信息发送。

另一方面,跨源请求将不包含引用者信息。将不发送引用HTTP头。

classscrapy.spidermiddlewares.referer.OriginPolicy[源代码]

https://www.w3.org/tr/referer-policy/referer-policy-origin

“来源”策略指定,在从特定请求客户机发出相同的来源请求和跨来源请求时,仅将请求客户机来源的ASCII序列化作为引用信息发送。

classscrapy.spidermiddlewares.referer.StrictOriginPolicy[源代码]

https://www.w3.org/tr/referer-policy/referer-policy-strict-origin

“严格来源”策略在发出请求时发送请求客户端来源的ASCII序列化:从受TLS保护的环境设置对象发送到可能值得信任的URL,从不受TLS保护的环境设置对象发送到任何来源。

另一方面,来自受TLS保护的请求客户端对不可能可信的URL的请求将不包含引用者信息。将不发送引用HTTP头。

classscrapy.spidermiddlewares.referer.OriginWhenCrossOriginPolicy[源代码]

https://www.w3.org/tr/referer-policy/跨来源引用策略来源

“跨源站时的源站”策略指定,当从特定请求客户机发出相同的源站请求时,剥离用作引用的完整URL作为引用信息发送,而在从特定请求客户机发出跨源站请求时,仅将请求客户机源站的ASCII序列化作为引用信息发送。请求客户端。

classscrapy.spidermiddlewares.referer.StrictOriginWhenCrossOriginPolicy[源代码]

https://www.w3.org/tr/referer-policy/跨来源时引用策略严格来源

“跨来源时严格来源”策略指定,当从特定请求客户端发出同一来源请求时,剥离用作引用的完整URL作为引用信息发送,并且在发出跨来源请求时,仅将请求客户端来源的ASCII序列化作为引用信息发送:

  • 从受TLS保护的环境设置对象到可能值得信赖的URL,以及

  • 从非TLS保护的环境设置对象到任何源站。

另一方面,来自受TLS保护的客户端对不可能可信的URL的请求将不包含引用者信息。将不发送引用HTTP头。


上一篇:下载器中间件下一篇:扩展

Archiver|手机版|笨鸟自学网 ( 粤ICP备20019910号 )

GMT+8, 2024-10-18 15:41 , Processed in 0.014113 second(s), 17 queries .

© 2001-2020

返回顶部