科百科
当前位置: 首页 范文大全

怎么打开scrapy命令(Windows下安装Scrapy方法及常见安装问题总结)

时间:2023-08-03 作者: 小编 阅读量: 4 栏目名: 范文大全

同理,其他的Python3.5、Python3.6、Python3.7的安装包根据自己的情况一一对应即可。第一个piplist命令的时候尚未解压Twisted安装包,此时并没有Twisted库;第二个piplist命令是在Twisted安装包解压之后执行的,可以看到Twisted库已经在里边了。

这几天,很多朋友在群里问Scrapy安装的问题,其实问题方面都差不多,今天小编给大家整理一下scrapy的安装教程,希望日后其他的小伙伴在安装的时候不再六神无主,具体的教程如下。

Scrapy是Python网络爬虫的一个框架,十分好用,深得大家的青睐,其工作原理,在在此就不赘述了。

1、正常我们在Python库的时候,只需要利用cmd命令打开命令行窗口,然后输入pip install 库,就可以正常安装了,但是在安装Scrapy的时候,输入pip install scrapy之后往往会碰到下图的问题。

2、这个问题的出现,是因为我们缺乏libxml2安装包。现在只要我们安装这个包之后,就可以顺利安装scrapy了。给大家安利一个福利,介绍给大家一个非常实用的Python包网站,这个网站很神奇,里边的Python包专门用于Windows下的安装的,如下图所示。

3、之后在该网站上查找lxml,也可以输入Ctrl f进行查找,找到之后如下图所示。

4、点击“lxml”,找到lxml安装包,如下图所示。找到对应自己Python版本的lxml安装包,小编的电脑是64位的,而且Python版本是Python3.4,所以找到下图红色框框的安装包,点击即可进行下载。同理,其他的Python3.5、Python3.6、Python3.7的安装包根据自己的情况一一对应即可。

5、然后去下载的目录,将lxml进行安装即可,输入安装命令pip install lxml-4.2.1-cp34-cp34m-win_amd64.whl即可。

6、lxml-4.2.1-cp34-cp34m-win_amd64.whl环境安装完成之后,再重新输入pip install scrapy即可顺利安装了,不会再报错了,如下图所示。

7、输入pip list可以查看已经安装的scrapy包,如下图所示。

8、之后我们就可以正常使用scrapy了,可以创建scrapy项目等等。

9、还有一些小伙伴遇到的问题是这个:

raise distutils.errors.DistutilsPlatformError(err)

distutils.errors.DistutilsPlatformError: Microsoft Visual C14.0 is required. Get it with "Microsoft Visual CBuild Tools": Download the Visual CBuild Tools (standalone Ccompiler, libraries and tools)

----------------------------------------

Command "python setup.py egg_info" failed with error code 1

这个是因为本机缺乏visual C的安装环境,此时只需要进入http://landinghub.visualstudio.com/visual-cpp-build-tools 这个网站,下载对应电脑版本的visual C环境,进行安装之后即可解决问题。

这个安装包比较大,等scrapy安装好之后再删除即可。

10、还有的小伙伴可能会遇到下面的错误提示“Twisted-18.7.0-cp34-cp34m-win_amd64.whl is not a supported wheel on this platform.”,表示该平台不支持这个安装包,如下图所示。

之前的lxml安装包不是直接安装就成功了吗?为何这个安装包会出现这个问题呢?此时,首先需要检查该安装包的Python版本和电脑位数是否和本机都对应上,如果确认没有问题,再继续往下看。

在这里小编给大家介绍一个小技巧,专门用来应对这样的问题的。进入到所下载的安装包,这里以Twisted-18.7.0-cp34-cp34m-win_amd64.whl安装包为例,进入到下载目录下,一般下载之后将其放到虚拟环境的site-packages文件夹下面,尔后将后缀.whl更改为.zip,将后缀.whl更改为.zip,将后缀.whl更改为.zip,重要的事情说三遍,有木有觉得很熟悉?对,它就是个压缩文件,现在将压缩包里边的内容全部解压到当前文件夹,如下图所示。

之后在虚拟环境下输入pip list命令查看安装包,可以看到Twisted安装包已经在里边了,如下图所示。第一个pip list命令的时候尚未解压Twisted安装包,此时并没有Twisted库;第二个pip list命令是在Twisted安装包解压之后执行的,可以看到Twisted库已经在里边了。

Twisted库安装好之后,再安装其他的库,如Scrapy、Pandas等就如鱼得水了。

这里列出了几个Scrapy安装过程中常见的问题及其解决方法,希望对大家日后安装Scrapy的时候有所帮助,可能每个人的平台和环境都不太一样,肯定会碰到其他的安装问题,欢迎大家一起学习交流~~

    推荐阅读
  • 汉字苟和茍你能分辨清吗(苟-汉字的艺术及姓氏文化)

    苟者,偷合之称。③春秋时楚大夫之食邑,以邑名为氏,见《路史》。融入蒙古族之汉族姓氏。⑵蒙古族勾姓,内蒙古呼和浩特、赤峰、乌海、突泉、阿鲁科尔沁旗、翁牛特旗、巴林左旗、巴林右旗、敖汉旗等地有之。本荆山地区蛮族,为巴人之一支。商代晚期进入今陕西宝鸡市一带。其族以木制盾,因称板楯蛮;又因其族谓赋曰賨,秦汉时薄其赋税,故又称賨人。⑵句渠知,十六国时前赵氐族起义首领。

  • 酸辣椒的做法是什么(怎么做酸辣椒)

    酸辣椒的做法是什么食材:鲜辣椒10公斤、甘草10克、花椒10克、糖果250克、食盐500克。把榨菜缸、粽叶把或稻草把、小石块等冲洗干净,晾干后待用。挑去有虫眼或带有腐烂孔的辣椒,然后将上好的鲜辣椒剪去柄后洗干净,再充分晾干。往榨菜缸内倒入半缸冷水,然后加入甘划、花椒、糖果、食盐,充分搅拌后静置几天。10多天后,辣椒已酸便可捞出来上市或包装后出售。捞出辣椒后,又可重新加入鲜辣椒,这样可以循环加工,不浪费原料。

  • 口袋妖怪绿宝石全随机攻略(口袋妖怪绿宝石新手任务攻略笔记)

    主角借助神奇宝贝球收服神奇宝贝,并用收服的神奇宝贝与他人对战。绿宝石版引入了烈空坐的剧情,并加入了通关后的对战开拓区。玩家跟着博士回研究所,送主角火稚鸡并委托你帮忙找女儿。玩家回研究所后,得到博士赠送之宝可梦图鉴与女主角送的精灵球,到家门口与妈妈对话后赠送风速鞋。在这里有着各种各样可爱的精灵宝可梦等你来捕捉并成为伙伴并肩战斗。

  • 英雄联盟星之守护者怎么打(英雄联盟星之守护者宇宙上线)

    英雄联盟星之守护者怎么打?主页面英雄合照故事的大概就是拉克丝和她的朋友们将在流星雨中迎接新的星星,而这趟旅程也考验着她身为队长的信心和能力。

  • 车辆验车后多久可以上牌 新车到车管所验车之后多久能上牌

    车辆购买后,要尽快的去缴纳车辆购置税,一般就近去车辆管理所就行。缴纳成功车辆购置税后,就会得到正副税本了,记得要保留好。非本地户口要提供暂住证原件和复印件。

  • 十句话送给睡不着觉的人(一定要保持良好的心态)

    十句话送给睡不着觉的人善忘的人,记住的是幸福;计较的人,记住的是痛苦。做一个善忘的人,烦恼才不会打扰。今天再大的事,到了明天都是小事;今年再大的事,到了明年都是故事。没有挤不出的时间,只有不想给的空闲。不要随意评价别人,也别轻易辜负自己。强扭的瓜不甜,强留的人不暖。一厢情愿,只会充当别人的插曲,两情相悦,才能成就一部好剧!人这一辈子,别太委屈自己,钱财没有生命重要,名气没有健康重要。

  • 波形弹簧优势(波形弹簧斯迈利)

    波形弹簧斯迈利成立于1918年,100多年来,Smalley®(斯迈利®)公司已发展为制造和开发如下产品的优质供应商:Spirolox弹性挡圈、等截面挡圈和波形弹簧Smalley在推出最先进的产品方面始终居于领先地。

  • 快绝经时还会排卵吗(绝经了还能排卵怀孕吗)

    女人绝经以后,正常情况下是不能够再怀孕的,但是随着现在医疗技术的发展,女人绝经以后也是可以通过人为因素达到怀孕的目的,说的就是做试管婴儿。而且妊娠期的各种并发症也会大大的增加。所以,除非万不得已,一般不建议再去冒险做试管婴儿了。女性绝经之后卵巢不会排卵,因为绝经主要是由于卵巢功能衰竭、卵巢内卵泡耗尽,也就是绝经后卵巢内没有卵泡了,所以不会排卵。