科百科
当前位置: 首页 范文大全

简述hadoop的三种安装方式(干货Hadoop安装步骤)

时间:2023-07-27 作者: 小编 阅读量: 3 栏目名: 范文大全

Hadoop是Apache基金会面向全球开源的产品之一,任何用户都可以从ApacheHadoop官网下载使用。今天,播妞将以编写时较为稳定的Hadoop2.7.4版本为例,详细讲解Hadoop的安装。然后,还需要执行“source/etc/profile”指令使可使配置文件生效。安装完Hadoop并配置好环境变量后,可以在当前主机任意目录下查看安装的Hadoop版本号,具体指令如下。

Hadoop是Apache基金会面向全球开源的产品之一,任何用户都可以从Apache Hadoop 官网下载使用。今天,播妞将以编写时较为稳定的Hadoop2.7.4版本为例,详细讲解Hadoop的安装。

先将下载的hadoop-2.7.4.tar.gz安装包上传到主节点hadoop01的/export/software/目录下,然后将文件解压到/export/servers/目录,具体指令如下。

$ tar -zxvf hadoop-2.7.4.tar.gz -C /export/servers/

执行完上述指令后,同样通过“vi /etc/profile”指令打开profile文件,在文件底部进一步添加如下内容类配置Hadoop环境变量。

# 配置Hadoop系统环境变量export HADOOP_HOME=/export/servers/hadoop-2.7.4export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

在/etc/profile文件中配置完上述Hadoop环境变量后(注意HADOOP_HOME路径),保存退出即可。然后,还需要执行“source /etc/profile”指令使可使配置文件生效。

安装完Hadoop并配置好环境变量后,可以在当前主机任意目录下查看安装的Hadoop版本号,具体指令如下。

$ hadoop version

执行完上述指令后,效果如图1所示。

△ 图1 Hadoop版本号

从图1可以看出,当前Haddoop版本就是指定的2.7.4,说明Hadoop安装成功。

接下来,可以在Hadoop解压目录下通过ll指令查看Hadoop目录结构,如图2所示。

△ 图2 Hadoop安装目录结构

从图2可以看出,Hadoop安装目录包括有bin、etc、include、lib、libexec、sbin、share和src共8个目录以及其他一些文件,下面简单介绍下各目录内容及作用。

bin:存放操作Hadoop相关服务(HDFS、Yarn)的脚本,但是通常使用sbin目录下的脚本。

etc:存放Hadoop配置文件,主要包含core-site.xml、hdfs-site.xml、mapred-site.xml等从Hadoop1.0继承而来的配置文件和yarn-site.xml等Hadoop2.0新增的配置文件。

include:对外提供的编程库头文件(具体动态库和静态库在lib目录中),这些头文件均是用C定义的,通常用于C程序访问HDFS或者编写MapReduce程序。

lib:该目录包含了Hadoop对外提供的编程动态库和静态库,与include目录中的头文件结合使用。

libexec:各个服务对用的shell配置文件所在的目录,可用于配置日志输出、启动参数(比如JVM参数)等基本信息。

sbin:该目录存放Hadoop管理脚本,主要包含HDFS和YARN中各类服务的启动/关闭脚本。

share:Hadoop各个模块编译后的jar包所在的目录。

src:Hadoop的源码包。

    推荐阅读
  • 王者荣耀盾山最肉出装(送给需要的你)

    王者荣耀盾山最肉出装?王者荣耀盾山最肉出装首先则是出装方面了,应该尽量往肉装方面走,当前因为是辅助,所以前期一定要出一个学识宝石,这样才能让自己的经济不落下太多,然后则是红莲斗篷和反伤刺甲,因为前期法师的伤害不会很高,因此可以先出物抗的,之后再补上魔女斗篷提升法抗,后面再来上不祥征兆这件能减少输出者攻击速度的装备,最后就是霸者重装了,续航能力大大提升,这样才会更肉!

  • 什么人不适合吃豆芽(吃豆芽的禁忌人群)

    什么人不适合吃豆芽消化不良者豆芽中含有丰富的纤维素,如果食用过多的话,很有可能会导致消化不良的情况,对于肠胃功能不是很好的人,更加需要谨慎食用。尿频尿崩者豆芽具有利尿消肿的作用,对于尿频或者尿崩症者来说,食用豆芽会导致水分排出更多,可能会造成体内水电解质代谢紊乱,不利于肾脏的健康。

  • 日常生活中最常用的生活小妙招(20个超实用的生活小技巧与妙招)

    还有,擦脸毛巾用久想恢复到柔软的样子,最好的办法是用水加洗衣粉用锅煮三十分钟即可。而且一盒清凉油可用2——3个月,经济实用。反复加热的食用油,如多次用来炸食品的食用油,不仅本身含有致癌物质,它所产生的油烟含致癌物也更多,危害更大。

  • 考生号怎么查(考生号查询方法)

    以下内容希望对你有帮助!考生号怎么查直接到考生所在学校的教务处进行查询,因为那里有你的档案记录,请老师一查便知。考生可以选择携带身份证及学生证等相关证件,亲自去高中所在的教育局,并说明来意。只要找到管理学生信息的部门,就能很快的找到自己的高考报名号了,这个是必须本人亲自去才能让查的。

  • 汽车保险的险种都有哪些(汽车保险一般有哪些险种)

    第三者责任险车辆使用过程中发生意外事故,致使第三者遭受人身伤亡和财产损失,需由投保人承担的赔偿责任,保险公司对于超过交强险赔偿限额以上的部分,按照合同规定赔偿。如果不幸撞坏豪车或驾车致人重伤,赔偿可能高达几十万,交强险最多赔12.2万,显然是杯水车薪。投保不计免赔险后,就能把车主需要承担的部分转嫁给保险公司,获得全额赔偿。

  • 能快速入睡的方法(能快速入睡的方法是什么)

    跟着小编一起来看一看吧!能快速入睡的方法如果入睡困难,可以通过饮食,运动以及用药等方法,促进尽快的入睡。白天可以适当参加一些户外运动,在睡前可以泡个热水澡,喝点热牛奶,也可以做做室内瑜伽或者室内体操,躺在床上静静的听听轻音乐,都有利于快速睡眠。

  • 两个太阳是什么现象(两个太阳到底啥现象)

    两个太阳是什么现象两个太阳是幻日现象。在非常寒冷、出现卷云的高空,分布着大量微小的六角冰晶。当这许多的冰晶在朝阳或夕阳附近时,它们会像三棱镜一样,使太阳光发生折射,形成环绕太阳的日晕。幻日形成原理是在地球上的天空被浓厚的大气包围,其中也有水蒸汽和小冰晶。它们在一定的条件下,可变成非常小的柱状或片状的雨滴或水汽,从高空徐徐下降,因受日光的照射而产生折射,就形成了幻日。

  • 如何清蒸螃蟹(清蒸螃蟹的做法步骤)

    如何清蒸螃蟹新鲜螃蟹再入锅蒸制以前要先把他的蟹钳搬下来,专用工具把它夹裂,这样再入锅蒸会让它更容易熟,也更方便人们食用。平时只做清蒸螃蟹时,还可以给他搭配适量的蘸料,可以暂时适量的花雕酒,也可以用葱姜蒜搭配适量料酒和老抽以及香醋来制作醮料,它们能让螃蟹的味道更诱人,而且能缓解螃蟹的寒凉之气,能防止它对人体产生不良影响。

  • 家用烤箱烤肠怎么烤(家用烤箱烤肠的做法)

    接下来我们就一起去了解一下吧!家用烤箱烤肠怎么烤材料:腊肠六根,食用油少量,白胡椒粉,香菜。用水果刀将其切处很多小口子。加入适量的食用油预留,小烤箱5分钟。将鸡肉肠涂上食用油,擦抹匀称了,放进电烤箱上150度10分钟。10分钟后将其翻盘再度涂上食用油左右150度10分钟。

  • 导航倒车影像上的倒车控制线怎么接(导航倒车影像上的倒车控制线怎么接的)

    4、在选用倒车影像时需注意是否与自己的车型相匹配,可从摄像头型号、电源电压、屏幕尺寸、是否防水、抗震、抗干扰等考虑。