笨鸟编程-零基础入门Pyhton教程

 找回密码
 立即注册

安装指南

发布者: 笨鸟自学网



Ubuntu 14.04或以上

Scrapy目前已经用LXML、Twisted和PyOpenSSL的最新版本进行了测试,并且与最新的Ubuntu发行版兼容。但是它也应该支持Ubuntu的旧版本,比如Ubuntu14.04,尽管存在与TLS连接相关的潜在问题。

Don't 使用 python-scrapy Ubuntu提供的软件包,它们通常太旧,速度太慢,赶不上最新的垃圾。

要在Ubuntu(或基于Ubuntu的)系统上安装scray,需要安装以下依赖项:

sudo apt-get install python3 python3-dev python3-pip libxml2-dev libxslt1-dev zlib1g-dev libffi-dev libssl-dev
  • python3-devzlib1g-devlibxml2-dev and libxslt1-dev are required for lxml

  • libssl-dev and libffi-dev are required for cryptography

在a:ref: ' virtualenv < introduction - use -virtualenv> '内部,您可以在后面安装带有' ' pip ' '的Scrapy:

pip install scrapy

注解

相同的非python依赖项可用于在debian jessie(8.0)及更高版本中安装scrapy。

macOS

构建Scrapy的依赖项需要有一个C编译器和开发头文件。在macOS上,这通常是由苹果的Xcode开发工具提供的。要安装Xcode命令行工具,请打开终端窗口并运行:

xcode-select --install

有一个“已知问题<https: github.com="" pypa="" pip="" issues="" 2468="">”_阻止“' pip '”更新系统包。</https:>要成功安装Scrapy及其依赖项,必须解决这个问题。以下是一些建议的解决方案:

  • (推荐) Don't 使用系统python,安装一个新的、更新的版本,它不会与系统的其他部分冲突。以下是如何使用 homebrew 包管理器:

    • 安装 homebrew 遵循https://brew.sh中的说明/

    • 更新你的 PATH 变量,说明应在系统包之前使用自制包(更改 .bashrc 到 .zshrc 如果你在使用 zsh 作为默认外壳)::

      echo "export PATH=/usr/local/bin:/usr/local/sbin:$PATH" >> ~/.bashrc
      
    • 重新加载``.bashrc``以确保发生了变化:

      source ~/.bashrc
      
    • 安装python::

      brew install python
      
    • 最新版本的python pip 与它们捆绑在一起,这样您就不需要单独安装。如果不是这样,请升级python::

      brew update; brew upgrade python
      
  • (可选) Install Scrapy inside a Python virtual environment .

此方法是解决上述macOS问题的一种解决方法,但它是管理依赖关系的一种总体良好实践,可以补充第一种方法。

在任何这些解决方法之后,您都应该能够安装scrapy::

pip install Scrapy 

上一篇:Scrapy一目了然下一篇:Scrapy 教程

Archiver|手机版|笨鸟自学网 ( 粤ICP备20019910号 )

GMT+8, 2024-10-18 13:54 , Processed in 0.025452 second(s), 17 queries .

© 2001-2020

返回顶部