共计 7002 个字符，预计需要花费 18 分钟才能阅读完成。
这篇文章将为大家详细讲解有关 hadoop2.7.2 集群如何搭建，丸趣 TV 小编觉得挺实用的，因此分享给大家做个参考，希望大家阅读完这篇文章后可以有所收获。
集群规划：
主机名 IP 安装的软件 运行的进程
Hadoop1 192.168.111.143 jdk、hadoop NameNode、DFSZKFailoverController(zkfc)、ResourceManager
Hadoop2 192.168.111.144 jdk、hadoop NameNode、DFSZKFailoverController(zkfc)、ResourceManager
Hadoop3 192.168.111.145 jdk、hadoop、zookeeper DataNode、NodeManager、JournalNode、QuorumPeerMain
Hadoop4 192.168.111.146 jdk、hadoop、zookeeper DataNode、NodeManager、JournalNode、QuorumPeerMain
Hadoop5 192.168.111.147 jdk、hadoop、zookeeper DataNode、NodeManager、JournalNode、QuorumPeerMain1. zookeeper 集群搭建 1.1 解压
tar -zxvf zookeeper-3.4.9.tar.gz -C /home/hbase1.2 修改配置
cd /home/hbase/zookeeper-3.4.9/conf/
cp zoo_sample.cfg zoo.cfg
vim zoo.cfg修改：
dataDir=/home/hbase/zookeeper-3.4.9/tmp在 zoo.cfg 最后添加：
server.1=hadoop3:2888:3888
server.2=hadoop4:2888:3888
server.3=hadoop5:2888:3888 然后创建一个 tmp 文件夹
mkdir /home/hbase/zookeeper-3.4.9/tmp
再创建一个空文件
touch /home/hbase/zookeeper-3.4.9/tmp/myid
最后向该文件写入 ID
echo 1 /home/hbase/zookeeper-3.4.9/tmp/myid1.3 将配置好的 zookeeper 拷贝到其他节点
scp -r /home/hbase/zookeeper-3.4.9/ hadoop4: /home/hbase/
scp -r /home/hbase/zookeeper-3.4.9/ hadoop5: /home/hbase/注意：修改 hadoop4、hadoop5 对应 /home/hbase /zookeeper-3.4.9/tmp/myid 内容
hadoop4： echo 2 /home/hbase/zookeeper-3.4.9/tmp/myid
hadoop5： echo 3 /home/hbase/zookeeper-3.4.9/tmp/myid2. 安装配置 hadoop 集群（在 hadoop1 上操作）2.1 解压
tar -zxvf hadoop-2.7.2.tar.gz -C /home/hbase/2.2 配置 HDFS
# 将 hadoop 添加到环境变量中
vim /etc/profile
export JAVA_HOME=/home/habse/jdk/jdk1.7.0_79
export HADOOP_HOME=/home/habse/hadoop-2.7.2
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin
#hadoop2.0 的配置文件全部在 $HADOOP_HOME/etc/hadoop 下
cd /home/habse/hadoop-2.7.2/etc/hadoop2.2.1 修改 hadoop-env.sh
export JAVA_HOME=/home/hbase/jdk/jdk1.7.0_792.2.2 修改 core-site.xml
configuration
!-- 指定 hdfs 的 nameservice 为 ns1 --
property
name fs.defaultFS /name
value hdfs://ns1 /value
/property
!-- 指定 hadoop 临时目录 --
property
name hadoop.tmp.dir /name
value /home/habse/hadoop-2.7.2/tmp /value
/property
!-- 指定 zookeeper 地址 --
property
name ha.zookeeper.quorum /name
value hadoop3:2181,hadoop4:2181,hadoop5:2181 /value
/property
/configuration2.2.3 修改 hdfs-site.xml
configuration
!-- 指定 hdfs 的 nameservice 为 ns1，需要和 core-site.xml 中的保持一致 --
property
name dfs.nameservices /name
value ns1 /value
/property
!-- ns1 下面有两个 NameNode，分别是 nn1，nn2 --
property
name dfs.ha.namenodes.ns1 /name
value nn1,nn2 /value
/property
!-- nn1 的 RPC 通信地址 --
property
name dfs.namenode.rpc-address.ns1.nn1 /name
value hadoop1:9000 /value
/property
!-- nn1 的 http 通信地址 --
property
name dfs.namenode.http-address.ns1.nn1 /name
value hadoop1:50070 /value
/property
!-- nn2 的 RPC 通信地址 --
property
name dfs.namenode.rpc-address.ns1.nn2 /name
value hadoop2:9000 /value
/property
!-- nn2 的 http 通信地址 --
property
name dfs.namenode.http-address.ns1.nn2 /name
value hadoop2:50070 /value
/property
!-- 指定 NameNode 的元数据在 JournalNode 上的存放位置 --
property
name dfs.namenode.shared.edits.dir /name
value qjournal://hadoop3:8485;hadoop4:8485;hadoop5:8485/ns1 /value
/property
!-- 指定 JournalNode 在本地磁盘存放数据的位置 --
property
name dfs.journalnode.edits.dir /name
value /home/hbase/hadoop-2.7.2/journal /value
/property
!-- 开启 NameNode 失败自动切换 --
property
name dfs.ha.automatic-failover.enabled /name
value true /value
/property
!-- 配置失败自动切换实现方式 --
property
name dfs.client.failover.proxy.provider.ns1 /name
value org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider /value
/property
!-- 配置隔离机制方法，多个机制用换行分割，即每个机制暂用一行 --
property
name dfs.ha.fencing.methods /name
value
sshfence
shell(/bin/true)
/value
/property
!-- 使用 sshfence 隔离机制时需要 ssh 免登陆 --
property
name dfs.ha.fencing.ssh.private-key-files /name
value /root/.ssh/id_rsa /value
/property
!-- 配置 sshfence 隔离机制超时时间 --
property
name dfs.ha.fencing.ssh.connect-timeout /name
value 30000 /value
/property
/configuration2.2.4 修改 mapred-site.xml
configuration
!-- 指定 mr 框架为 yarn 方式 --
property
name mapreduce.framework.name /name
value yarn /value
/property
/configuration2.2.5 修改 yarn-site.xml
configuration
!-- Site specific YARN configuration properties --
!-- 开启 RM 高可靠 --
property
name yarn.resourcemanager.ha.enabled /name
value true /value
/property
!-- 指定 RM 的 cluster id --
property
name yarn.resourcemanager.cluster-id /name
value yrc /value
/property
!-- 指定 RM 的名字 --
property
name yarn.resourcemanager.ha.rm-ids /name
value rm1,rm2 /value
/property
!-- 分别指定 RM 的地址 --
property
name yarn.resourcemanager.hostname.rm1 /name
value hadoop1 /value
/property
property
name yarn.resourcemanager.hostname.rm2 /name
value hadoop2 /value
/property
!-- 指定 zk 集群地址 --
property
name yarn.resourcemanager.zk-address /name
value hadoop3:2181,hadoop4:2181,hadoop5:2181 /value
/property
property
name yarn.nodemanager.aux-services /name
value mapreduce_shuffle /value
/property
/configuration2.2.6 修改 slaves
slaves 是指定子节点的位置，hadoop1 上的 slaves 文件指定的是 datanode 和 nodemanager 的位置
hadoop3
hadoop4
hadoop52.2.7 配置免密码登陆
# 首先要配置 hadoop1 到 hadoop2、hadoop3、hadoop4、hadoop5 的免密码登陆
#在 hadoop1 上生产一对钥匙
ssh-keygen -t rsa
#将公钥拷贝到其他节点，包括自己
ssh-coyp-id hadoop1
ssh-coyp-id hadoop2
ssh-coyp-id hadoop3
ssh-coyp-id hadoop4
ssh-coyp-id hadoop5
#注意：两个 namenode 之间要配置 ssh 免密码登陆，别忘了配置 hadoop2 到 hadoop1 的免登陆
在 hadoop2 上生产一对钥匙
ssh-keygen -t rsa
ssh-coyp-id -i hadoop12.3 将配置好的 hadoop 拷贝到其他节点
scp -r /home/habse/hadoop-2.7.2/ root@hadoop2:/home/habse/
scp -r /home/habse/hadoop-2.7.2/ root@hadoop3:/home/habse /
scp -r /home/habse/hadoop-2.7.2/ root@hadoop4:/home/habse /
scp -r /home/habse/hadoop-2.7.2/ root@hadoop5:/home/habse /3. 第一次启动 3.1 启动 zookeeper 集群（分别在 hadoop3、hadoop4、hadoop5 上启动 zk）
cd /home/hbase/zookeeper-3.4.9/bin/
./zkServer.sh start
#查看状态：一个 leader，两个 follower
./zkServer.sh status3.2 启动 journalnode（分别在在 hadoop3、hadoop4、hadoop5 上执行）
cd /home/habse/hadoop-2.7.2
sbin/hadoop-daemon.sh start journalnode
#运行 jps 命令检验，hadoop3、hadoop4、hadoop5 上多了 JournalNode 进程 3.3 格式化 HDFS
# 在 hadoop1 上执行命令:
hdfs namenode -format
hdfs namenode -bootstrapStandby3.4 格式化 ZK(在 hadoop1 上执行即可)
hdfs zkfc -formatZK3.5 启动 HDFS(在 hadoop1 上执行)
sbin/start-dfs.sh注意：
如果启动 datanode 时遇到找不到 datanode 所在的主机，首先检查 slaves 文件配置是否正确，如果没问题的话删除重新创建
3.6 启动 YARN(hadoop1 上执行)
sbin/start-yarn.sh查看每台机器的进程：
到此，hadoop-2.7.2 配置完毕，可以统计浏览器访问:
http://192.168.111.143:50070
NameNode hadoop1:9000 (active)
http://192.168.111.144:50070
NameNode hadoop2:9000 (standby)
Datanode：
所以 hadoop 集群安装完成后首先启动 zookeeper 和 journalnode，然后格式化 HDFS 和 ZKFC，然后启动 namenode，resourcemanager，datanode
4. startup 与 shutdown4.1 Hadoop Startup
1. ./zkServer.sh start(hadoop3、hadoop4、hadoop5)
2. ./hadoop-daemon.sh start journalnode(hadoop3、hadoop4、hadoop5)
3. hdfs zkfc -formatZK(hadoop1)
4. hdfs namenode -bootstrapStandby(hadoop2)
5. hdfs zkfc -formatZK(hadoop1)
6. ./start-dfs.sh (hadoop1)
7. ./start-yarn.sh(hadoop1)
8. 如果哪个进程没有启动，那么单独在那台机器上执行启动命令
9. ./yarn –daemon start proxyserver
10. ./mapred –daemon start historyserver
说明：
格式化工作仅在第一次启动 hadoop 之前完成 (步骤 2,3,4,5)，以后不用，如果以后启动过程中有问题可以重新格式化
单独启动 resourcemanager：./yarn-daemon.sh start resourcemanager
单独启动 namnode：./hadoop-daemon.sh start namenode
单独启动 zkfc：./yarn-daemon.sh start zkfc
4.2 Hadoop shutdown
1. ./stop-dfs.sh
2. ./stop-yarn.sh
3. ./yarn –daemon stop proxyserver
4. ./mapred –daemon stop historyserver
5. 主备切换测试
杀掉当前状态为 active 的 hadoop1 的 namenode 进程，可以看到 hadoop2 由 standby 变为 active，再启动 hadoop1 的 namenode 则发现 hadoop1 的状态为 standby
关于“hadoop2.7.2 集群如何搭建”这篇文章就分享到这里了，希望以上内容可以对大家有一定的帮助，使各位可以学到更多知识，如果觉得文章不错，请把它分享出去让更多的人看到。
