笨鸟编程-零基础入门Pyhton教程

 找回密码
 立即注册

蜘蛛中间件

发布者: 笨鸟自学网



RefererMiddleware

classscrapy.spidermiddlewares.referer.RefererMiddleware[源代码]

填充请求 Referer 头,基于生成它的响应的URL。

ReferermIddleware设置

REFERER_ENABLED

违约: True

是否启用引用中间件。

REFERRER_POLICY

违约: 'scrapy.spidermiddlewares.referer.DefaultReferrerPolicy'

Referrer Policy 填充请求“引用”头时应用。

注解

您还可以使用特殊的 "referrer_policy" Request.meta 键,其可接受值与 REFERRER_POLICY 设置。

推荐人政策的可接受值
  • 或者是到 scrapy.spidermiddlewares.referer.ReferrerPolicy 子类-自定义策略或内置策略之一(参见下面的类)。

  • 或标准W3C定义的字符串值之一,

  • 或特殊 "scrapy-default" .

字符串值

类名(作为字符串)

"scrapy-default" (默认)

scrapy.spidermiddlewares.referer.DefaultReferrerPolicy

"no-referrer"

scrapy.spidermiddlewares.referer.NoReferrerPolicy

"no-referrer-when-downgrade"

scrapy.spidermiddlewares.referer.NoReferrerWhenDowngradePolicy

"same-origin"

scrapy.spidermiddlewares.referer.SameOriginPolicy

"origin"

scrapy.spidermiddlewares.referer.OriginPolicy

"strict-origin"

scrapy.spidermiddlewares.referer.StrictOriginPolicy

"origin-when-cross-origin"

scrapy.spidermiddlewares.referer.OriginWhenCrossOriginPolicy

"strict-origin-when-cross-origin"

scrapy.spidermiddlewares.referer.StrictOriginWhenCrossOriginPolicy

"unsafe-url"

scrapy.spidermiddlewares.referer.UnsafeUrlPolicy

classscrapy.spidermiddlewares.referer.DefaultReferrerPolicy[源代码]

“降级时无引用”的变体,加上如果父请求正在使用,则不发送“引用”。 file:// 或 s3:// 方案。


上一篇:下载器中间件下一篇:扩展

Archiver|手机版|笨鸟自学网 ( 粤ICP备20019910号 )

GMT+8, 2024-9-8 11:09 , Processed in 0.018502 second(s), 17 queries .

© 2001-2020

返回顶部