下载和处理文件和图像

使用实例¶

为了使用媒体管道，首先 enable it .

那么，如果蜘蛛返回一个 item object 使用URL字段 (file_urls 或 image_urls ，对于文件或图像管道），管道会将结果放在相应的字段下 (files 或 images ）

在使用时 item types 对于预先定义的字段，必须同时定义URL字段和结果字段。例如，在使用图像管道时，项必须同时定义 image_urls 以及 images 田野。例如，使用 Item 班级：：

import scrapy

class MyItem(scrapy.Item):
    # ... other item fields ...
    image_urls = scrapy.Field()
    images = scrapy.Field()

如果要对URL键或结果键使用其他字段名，也可以重写它。

对于文件管道，设置 FILES_URLS_FIELD 和/或 FILES_RESULT_FIELD 设置：：

FILES_URLS_FIELD = 'field_name_for_your_files_urls'
FILES_RESULT_FIELD = 'field_name_for_your_processed_files'

对于图像管道，设置 IMAGES_URLS_FIELD 和/或 IMAGES_RESULT_FIELD 设置：：

IMAGES_URLS_FIELD = 'field_name_for_your_images_urls'
IMAGES_RESULT_FIELD = 'field_name_for_your_processed_images'

如果您需要更复杂的内容，并且想要覆盖自定义管道行为，请参见 扩展媒体管道 .

如果有多个图像管道继承自ImagePipeline，并且希望在不同的管道中具有不同的设置，则可以设置以管道类的大写名称开头的设置键。例如，如果您的管道名为mypipeline，并且您希望有自定义图像URL字段，那么您可以定义设置mypipeline图像URL字段，并且将使用自定义设置。

# 120 days of delay for files expiration
FILES_EXPIRES = 120

# 30 days of delay for images expiration
IMAGES_EXPIRES = 30

IMAGES_THUMBS = {
    'small': (50, 50),
    'big': (270, 270),
}

<IMAGES_STORE>/thumbs/<size_name>/<image_id>.jpg

<IMAGES_STORE>/full/63bbfea82b8880ed33cdb762aa11fab722a90a24.jpg
<IMAGES_STORE>/thumbs/small/63bbfea82b8880ed33cdb762aa11fab722a90a24.jpg
<IMAGES_STORE>/thumbs/big/63bbfea82b8880ed33cdb762aa11fab722a90a24.jpg