储藏室¶使用提要导出时,可以使用一个或多个定义存储提要的位置 URIs (通过 开箱支持的存储后端包括:
如果所需的外部库不可用,则某些存储后端可能不可用。例如,只有在 botocore 库已安装。 存储URI参数¶存储URI还可以包含在创建源时被替换的参数。这些参数是:
任何其他命名参数都将被同名的spider属性替换。例如, 下面举例说明:
注解 Spider arguments 成为爬行器属性,因此它们还可以用作存储URI参数。 存储后端¶本地文件系统¶源存储在本地文件系统中。
请注意,对于本地文件系统存储(仅限),如果您指定类似 FTP¶这些提要存储在FTP服务器中。
ftp支持两种不同的连接模式: active or passive .默认情况下,Scrapy使用被动连接模式。要使用活动连接模式,请设置 此存储后端使用 delayed file delivery . S3¶源存储在 Amazon S3 .
AWS凭证可以作为用户/密码在URI中传递,也可以通过以下设置传递:
您还可以使用此设置为导出源定义自定义ACL和自定义终结点:
此存储后端使用 delayed file delivery . |
Archiver|手机版|笨鸟自学网 ( 粤ICP备20019910号 )
GMT+8, 2024-11-21 21:34 , Processed in 0.016576 second(s), 17 queries .