科百科
当前位置: 首页 范文大全

怎么打开scrapy命令(Windows下安装Scrapy方法及常见安装问题总结)

时间:2023-08-03 作者: 小编 阅读量: 1 栏目名: 范文大全

同理,其他的Python3.5、Python3.6、Python3.7的安装包根据自己的情况一一对应即可。第一个piplist命令的时候尚未解压Twisted安装包,此时并没有Twisted库;第二个piplist命令是在Twisted安装包解压之后执行的,可以看到Twisted库已经在里边了。

这几天,很多朋友在群里问Scrapy安装的问题,其实问题方面都差不多,今天小编给大家整理一下scrapy的安装教程,希望日后其他的小伙伴在安装的时候不再六神无主,具体的教程如下。

Scrapy是Python网络爬虫的一个框架,十分好用,深得大家的青睐,其工作原理,在在此就不赘述了。

1、正常我们在Python库的时候,只需要利用cmd命令打开命令行窗口,然后输入pip install 库,就可以正常安装了,但是在安装Scrapy的时候,输入pip install scrapy之后往往会碰到下图的问题。

2、这个问题的出现,是因为我们缺乏libxml2安装包。现在只要我们安装这个包之后,就可以顺利安装scrapy了。给大家安利一个福利,介绍给大家一个非常实用的Python包网站,这个网站很神奇,里边的Python包专门用于Windows下的安装的,如下图所示。

3、之后在该网站上查找lxml,也可以输入Ctrl f进行查找,找到之后如下图所示。

4、点击“lxml”,找到lxml安装包,如下图所示。找到对应自己Python版本的lxml安装包,小编的电脑是64位的,而且Python版本是Python3.4,所以找到下图红色框框的安装包,点击即可进行下载。同理,其他的Python3.5、Python3.6、Python3.7的安装包根据自己的情况一一对应即可。

5、然后去下载的目录,将lxml进行安装即可,输入安装命令pip install lxml-4.2.1-cp34-cp34m-win_amd64.whl即可。

6、lxml-4.2.1-cp34-cp34m-win_amd64.whl环境安装完成之后,再重新输入pip install scrapy即可顺利安装了,不会再报错了,如下图所示。

7、输入pip list可以查看已经安装的scrapy包,如下图所示。

8、之后我们就可以正常使用scrapy了,可以创建scrapy项目等等。

9、还有一些小伙伴遇到的问题是这个:

raise distutils.errors.DistutilsPlatformError(err)

distutils.errors.DistutilsPlatformError: Microsoft Visual C14.0 is required. Get it with "Microsoft Visual CBuild Tools": Download the Visual CBuild Tools (standalone Ccompiler, libraries and tools)

----------------------------------------

Command "python setup.py egg_info" failed with error code 1

这个是因为本机缺乏visual C的安装环境,此时只需要进入http://landinghub.visualstudio.com/visual-cpp-build-tools 这个网站,下载对应电脑版本的visual C环境,进行安装之后即可解决问题。

这个安装包比较大,等scrapy安装好之后再删除即可。

10、还有的小伙伴可能会遇到下面的错误提示“Twisted-18.7.0-cp34-cp34m-win_amd64.whl is not a supported wheel on this platform.”,表示该平台不支持这个安装包,如下图所示。

之前的lxml安装包不是直接安装就成功了吗?为何这个安装包会出现这个问题呢?此时,首先需要检查该安装包的Python版本和电脑位数是否和本机都对应上,如果确认没有问题,再继续往下看。

在这里小编给大家介绍一个小技巧,专门用来应对这样的问题的。进入到所下载的安装包,这里以Twisted-18.7.0-cp34-cp34m-win_amd64.whl安装包为例,进入到下载目录下,一般下载之后将其放到虚拟环境的site-packages文件夹下面,尔后将后缀.whl更改为.zip,将后缀.whl更改为.zip,将后缀.whl更改为.zip,重要的事情说三遍,有木有觉得很熟悉?对,它就是个压缩文件,现在将压缩包里边的内容全部解压到当前文件夹,如下图所示。

之后在虚拟环境下输入pip list命令查看安装包,可以看到Twisted安装包已经在里边了,如下图所示。第一个pip list命令的时候尚未解压Twisted安装包,此时并没有Twisted库;第二个pip list命令是在Twisted安装包解压之后执行的,可以看到Twisted库已经在里边了。

Twisted库安装好之后,再安装其他的库,如Scrapy、Pandas等就如鱼得水了。

这里列出了几个Scrapy安装过程中常见的问题及其解决方法,希望对大家日后安装Scrapy的时候有所帮助,可能每个人的平台和环境都不太一样,肯定会碰到其他的安装问题,欢迎大家一起学习交流~~

    推荐阅读
  • 江苏各高校开学时间2022最新消息(江苏各高校2021秋季开学时间)

    如8月18日以来有山西省平遥县旅居史,尤其是观看8月18日下午4点场次《又见平遥》实景演出的人员,请第一时间主动报备,落实信息登记、核酸检测和健康监测等防控工作。返校师生应提前向所属学校咨询防控措施,及时报备,配合相关排查。故意隐瞒或未及时报备,导致疫情传播扩散的,将承担法律责任。

  • 宋朝亡于王安石(为什么后世将北宋灭亡归罪于王安石)

    在一朝天子一朝臣的状况下,新法被停用。这场战斗,打出了北宋军队的赫赫军威,使周边国家收起了对北宋的小觑之心。如果,宋神宗能够在两人之间调和,使两人能够齐心协力为国效力的话,两人的矛盾就不会过于激化。他在表示支持王安石后,便将持反对意见的大臣全部贬谪。由此看来,两人只是政见不同,并无私人恩怨。新法虽然废除,但国事并未有所改观。当时的人将北宋灭亡归咎于王安石,实则是为了掩盖徽宗赵佶的错误。

  • 酸奶能促进消化(原来没有这么简单)

    随着生活水平提高,人们更加关注健康饮食,其中酸奶便是餐食后的常客,因为很多人听说过"喝酸奶,益生菌助消化",但是有些人在饭后感到肚子胀不消化,喝了酸奶之后却没有什么效果,那么到底酸奶能不能帮助消化呢?益生菌的作用主要是调节肠道菌群平衡,帮助肠道保持健康状态并不是帮助消化。

  • 海贼王艾斯被海军抓第几集(海贼王中艾斯被抓是多少集)

    海贼王艾斯被海军抓第几集海贼王艾斯被海军抓是第325集最凶险的能力!袭击艾斯的黑胡子的黑暗。只在后面的叙述中提到被黑胡子打败,并交给世界政府。主角蒙奇·D·路飞的义兄,在目前的故事剧情已经死亡。后被黑胡子击败,并且交与海军,关押在海底大监狱。后因为保护路飞用身体去挡海军大将赤犬的岩浆拳,结果被贯穿了身体。内脏也被烧伤,船医通过检查发现其内脏已被烧坏无法医治,因伤势过重死亡。

  • 港版杨家将(这部只有6集的杨家将)

    看这TVB艺员们美女配帅哥,每对都有足足的CP感,更让人想不到的是,五虎将中的苗侨伟饰演的杨四郎,而戚美珍饰演的是辽国二公主,我们都知道杨家将故事中,杨四郎最后去了辽国,被辽国公主救下了,并且两个人成了婚,而在现实中,苗侨伟和戚美珍就是一对恩爱夫妻,真让人觉得戏如人生,人生如戏!

  • 问天猫精灵问题合集(天猫精灵智控的一个小问题)

    当场考虑用哪种方案的时候没有选择小米,说实话,我对小米印象不太好,所以用了天猫精灵作为智控中心。于是挑了半天选择了雷士天花灯,毕竟品牌比较大,质量有保证。),跟雷士售后联系,按他们的方法也没解决,都是当时好使,三天就不行了。后来一想,可能天猫精灵这边可以解决。

  • 叫我来巡山舞蹈(今天我当家欢迎奇葩)

    《今天我当家》今日将迎来“巡山舞蹈团”,黄队“女汉子”——妞妞橙队“小胖墩”——浩铭绿队“小淑女”——吉吉的“奇葩”组合。“巡山舞蹈团”首秀精彩激烈的游戏比赛过后,立刻开始了轻松欢快的才艺秀时间。在节目现场,三组小宝贝即兴将各自表演合并成一段《大王叫我来巡山》的歌舞。另外两位小女生妞妞和吉吉自然也是不甘示弱,一套动作下来尽显萌态,不禁让现场所有人都跟着鼓掌舞动。

  • 错把陈醋当成墨完整句子(错把陈醋当成墨全文)

    下面内容希望能帮助到你,我们来一起看看吧!错把陈醋当成墨完整句子错把陈醋当成墨完整句子:错把陈醋当成墨,写尽半生纸上酸;错把陈墨当成醋,喝尽半生心里苦。该诗句是由网友在网上发布的一首打油诗。意思是人生很无奈,有时候你坚持了半生的东西,恍然间才发现坚持错了,但等想明白的时候已经太晚了,只能自己吞下这苦果,该诗也是劝诫别人不要过于执着。

  • 诸葛亮为什么这么痛恨这个人(诸葛亮为什么会失败)

    在《三国演义》中,最令人信服和羡慕的要数诸葛亮,他深思熟虑,周密细致,神机妙算,知彼知己,善于用兵,被世人所称颂。但诸葛亮不是全智全能的神人,也有失误之处,他用兵最大的失误有三处。魏延的意思,就是率领精兵,趁曹魏不备,深入敌后,实施突袭,诸葛亮则随后率领主力出发。