博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
windows下如何成功安装python scrapy
阅读量:6605 次
发布时间:2019-06-24

本文共 1885 字,大约阅读时间需要 6 分钟。

hot3.png

An open source and collaborative framework for extracting the data you need from websites.

In a fast, simple, yet extensible way.

 scrapy是为了抓取所需的网络数据的一个开源的协作框架。它的工作方式简单快速且可扩展。(原谅我耿直的翻译)

使用pip安装scrapy

pip install scrapy

因为我的电脑同时有Python2.7和Python3.5,所以,我的安装代码:

py -2 -m pip install scrapy

114010_UMPM_1165991.png

安装出错:

114110_y2TQ_1165991.png

根据提示前往http://aka.ms/vcpython27下载Microsoft Visual C++ Compiler for Python 2.7:

114235_aqwm_1165991.png

安装了Microsoft Visual C++ Compiler for Python 2.7后,重启cmd再安装一次,又出错:

115323_NcI5_1165991.png

虽然没有理解错误是什么意思,但大概看出是lxml库的问题:

py -2 -m pip install lxml

报了同样的错误:

115538_YutL_1165991.png

因此,很明显是lxml库导致安装无法继续进行的。我在网上查找了许多方法来解决上面的报错,都没有找到根本原因,于是我在它的官网http://lxml.de/installation.html(我猜测这是官网)找到了一些解释。

MS Windows

For MS Windows, recent lxml releases feature community donated binary distributions, although you might still want to take a look at the related . If you fail to build lxml on your MS Windows system from the signed and tested sources that we release, consider using the binary builds from PyPI or the  that Christoph Gohlke generously provides.

很明显这应该是建议我使用非官方的二进制文件来进行安装,所以我就找到了这个网址:http://www.lfd.uci.edu/~gohlke/pythonlibs/#lxml,下载适合Python2.7版本的wheel文件:

131505_D4QS_1165991.png

【Python Wheel (.whl)文件安装实践】

首先应该安装Python wheel库:

py -2 -m pip install wheel

132408_C7uE_1165991.png

然后安装下载的lxml-3.7.3-cp27-cp27m-win_amd64.whl文件:

在文件所在的位置按住【shift+鼠标右键】→【在此处打开命令窗口】,这样我们可以直接进入文件所在的路径输命令,当然也可以用cd来进入文件所在的路径或者使用带路径的文件名。

py -2 -m pip install lxml-3.7.3-cp27-cp27m-win_amd64.whl

132326_JZPT_1165991.png

 安装成功。

 

lxml安装成功后就不再是我们安装scrapy的阻碍了,我们再次输入命令:

py -2 -m pip install scrapy

最终scrapy安装成功,过程中没有出现报错的情况。

 

查看已经安装的Python库:

py -2 -m pip list

132743_48HR_1165991.png

 

参考:

  1. https://scrapy.org/【scrapy官网】
  2. http://blog.csdn.net/xibeichengf/article/details/50479151【http://blog.csdn.net/xibeichengf/article/details/50479151】
  3. http://lxml.de/installation.html【lxml官网】
  4. http://lxml.de/FAQ.html#where-are-the-binary-builds【Where are the binary builds?】
  5. http://www.lfd.uci.edu/~gohlke/pythonlibs/#lxml【lxml‑3.7.3‑cp27‑cp27m‑win_amd64.whl】

转载于:https://my.oschina.net/u/1165991/blog/842001

你可能感兴趣的文章
swoole项目思维转换 -- 前篇
查看>>
Spring事务的传播属性和隔离级别
查看>>
SpringBoot之WebSocket和SSE
查看>>
在zsh下使用tmux会自动变更窗口名称的问题
查看>>
cpuidle_mediaroom
查看>>
oracle存储过程动态sql写法
查看>>
JAVA反射机制
查看>>
美团点评携手 PingCAP 开启新一代数据库深度实践之旅
查看>>
Android----- 改变图标原有颜色 和 搜索框
查看>>
Markdown 常用语法
查看>>
4:spring mvc 数据绑定
查看>>
Eclipse支持Python单词补全
查看>>
一致性算法探寻(扩展版)13
查看>>
微信小程序 | 程序员开发实战系列文章④
查看>>
CKEditor粘贴图片上传功能
查看>>
ElasticSearch+Solr几个案例笔记
查看>>
程序中的@Override是什么意思?
查看>>
CentOS 编译安装Apache2.4 PHP5.6.30 Mysql5.6.16
查看>>
Visual SourceSafe 入门教学
查看>>
express 4.0以上的版本 express找不到的问题
查看>>