笨鸟编程-零基础入门Pyhton教程

 找回密码
 立即注册

条目导出器

发布者: 笨鸟自学网



PickleItemExporter

classscrapy.exporters.PickleItemExporter(fileprotocol=0**kwargs)

将pickle格式的项导出到给定的类文件对象。

参数
  • file -- 用于导出数据的类似文件的对象。它的 write 方法应接受 bytes (以二进制模式打开的磁盘文件, io.BytesIO 物体等)

  • protocol (int) -- 要使用的pickle协议。

有关详细信息,请参阅 pickle .

此的其他关键字参数 __init__ 方法传递给 BaseItemExporter __init__ 方法。

pickle不是人类可读的格式,因此没有提供输出示例。

PprintItemExporter

classscrapy.exporters.PprintItemExporter(file**kwargs)

以漂亮的打印格式将项导出到指定的文件对象。

参数

file -- 用于导出数据的类似文件的对象。它的 write 方法应接受 bytes (以二进制模式打开的磁盘文件, io.BytesIO 物体等)

此的其他关键字参数 __init__ 方法传递给 BaseItemExporter __init__ 方法。

该出口商的典型产出为:

{'name': 'Color TV', 'price': '1200'}
{'name': 'DVD player', 'price': '200'}

较长的行(如果存在)的格式很好。

JsonItemExporter

classscrapy.exporters.JsonItemExporter(file**kwargs)

将JSON格式的项导出到指定的类文件对象,将所有对象作为对象列表写入。额外的 __init__ 方法参数传递给 BaseItemExporter __init__ 方法,以及对 JSONEncoder __init__ 方法,因此可以使用任何 JSONEncoder __init__ 方法参数自定义此导出器。

参数

file -- 用于导出数据的类似文件的对象。它的 write 方法应接受 bytes (以二进制模式打开的磁盘文件, io.BytesIO 物体等)

该出口商的典型产出为:

[{"name": "Color TV", "price": "1200"},
{"name": "DVD player", "price": "200"}]

警告

JSON是一种非常简单和灵活的序列化格式,但是由于是增量的(aka),它不能很好地扩展到大量的数据中。流模式)解析在JSON解析器(在任何语言上)中都不受很好的支持(如果有),而且大多数解析器只是解析内存中的整个对象。如果您希望JSON的强大性和简单性具有更流友好的格式,请考虑使用 JsonLinesItemExporter 或者将输出分成多个块。


上一篇:调度程序

Archiver|手机版|笨鸟自学网 ( 粤ICP备20019910号 )

GMT+8, 2024-9-8 09:44 , Processed in 0.018986 second(s), 17 queries .

© 2001-2020

返回顶部