共计 3122 个字符,预计需要花费 8 分钟才能阅读完成。
丸趣 TV 小编给大家分享一下 Hadoop2.4.1 如何实现伪分布式搭建,相信大部分人都还不怎么了解,因此分享这篇文章给大家参考一下,希望大家阅读完这篇文章后大有收获,下面让我们一起去了解一下吧!
1. 准备 Linux 环境
1.0 点击 VMware 快捷方式,右键打开文件所在位置 – 双击 vmnetcfg.exe – VMnet1 host-only – 修改 subnet ip 设置网段:192.168.1.0 子网掩码:255.255.255.0 – apply – ok
回到 windows — 打开网络和共享中心 – 更改适配器设置 – 右键 VMnet1 – 属性 – 双击 IPv4 – 设置 windows 的 IP:192.168.1.100 子网掩码:255.255.255.0 – 点击确定
在虚拟软件上 –My Computer – 选中虚拟机 – 右键 – settings – network adapter – host only – ok
1.1 修改主机名
vim /etc/sysconfig/network
NETWORKING=yes
HOSTNAME=itcast ###
1.2 修改 IP
两种方式:
第一种:通过 Linux 图形界面进行修改(强烈推荐)
进入 Linux 图形界面 – 右键点击右上方的两个小电脑 – 点击 Edit connections – 选中当前网络 System eth0 – 点击 edit 按钮 – 选择 IPv4 – method 选择为 manual – 点击 add 按钮 – 添加 IP:192.168.1.101 子网掩码:255.255.255.0 网关:192.168.1.1 – apply
第二种:修改配置文件方式(屌丝程序猿专用)
vim /etc/sysconfig/network-scripts/ifcfg-eth0
DEVICE= eth0
BOOTPROTO= static ###
HWADDR= 00:0C:29:3C:BF:E7
IPV6INIT= yes
NM_CONTROLLED= yes
ONBOOT= yes
TYPE= Ethernet
UUID= ce22eeca-ecde-4536-8cc2-ef0dc36d4a8c
IPADDR= 192.168.1.101 ###
NETMASK= 255.255.255.0 ###
GATEWAY= 192.168.1.1 ###
1.3 修改主机名和 IP 的映射关系
vim /etc/hosts
192.168.1.101 itcast
1.4 关闭防火墙
# 查看防火墙状态
service iptables status
# 关闭防火墙
service iptables stop
# 查看防火墙开机启动状态
chkconfig iptables –list
# 关闭防火墙开机启动
chkconfig iptables off
1.5 重启 Linux
reboot
2. 安装 JDK
2.1 上传
2.2 解压 jdk
# 创建文件夹
mkdir /usr/java
# 解压
tar -zxvf jdk-7u55-linux-i586.tar.gz -C /usr/java/
2.3 将 java 添加到环境变量中
vim /etc/profile
# 在文件最后添加
export JAVA_HOME=/usr/java/jdk1.7.0_5
export PATH=$PATH:$JAVA_HOME/bin
# 刷新配置
source /etc/profil
3. 安装 hadoop2.4.1(itcast01 是主机名)
注意:hadoop2.x 的配置文件 $HADOOP_HOME/etc/hadoop
伪分布式需要修改 5 个配置文件
3.1 配置 hadoop
第一个:hadoop-env.sh
vim hadoop-env.sh
# 第 27 行
export JAVA_HOME=/usr/java/jdk1.7.0_65
第二个:core-site.xml
!– 制定 HDFS 的老大 vim(NameNode)的地址 —
property
name fs.defaultFS /name
value hdfs://itcast01:9000 /value
/property
!– 指定 hadoop 运行时产生文件的存储目录 —
property
name hadoop.tmp.dir /name
value /itcast/hadoop-2.4.1/tmp /value
/property
第三个:hdfs-site.xml
!– 指定 HDFS 副本的数量 —
property
name dfs.replication /name
value 1 /value
/property
第四个:mapred-site.xml (mv mapred-site.xml.template mapred-site.xml)
mv mapred-site.xml.template mapred-site.xml
vim mapred-site.xml
!– 指定 mr 运行在 yarn 上 —
property
name mapreduce.framework.name /name
value yarn /value
/property
第五个:yarn-site.xml
!– 指定 YARN 的老大(ResourceManager)的地址 —
property
name yarn.resourcemanager.hostname /name
value itcast01 /value
/property
!– reducer 获取数据的方式 —
property
name yarn.nodemanager.aux-services /name
value mapreduce_shuffle /value
/property
3.2 将 hadoop 添加到环境变量
vim /etc/proflie
export JAVA_HOME=/usr/java/jdk1.7.0_65
export HADOOP_HOME=/itcast/hadoop-2.4.1
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
source /etc/profile
3.3 格式化 namenode(是对 namenode 进行初始化)
hdfs namenode -format (hadoop namenode -format)
3.4 启动 hadoop
先启动 HDFS
sbin/start-dfs.sh
再启动 YARN
sbin/start-yarn.sh
3.5 验证是否启动成功
使用 jps 命令验证
27408 NameNode
28218 Jps
27643 SecondaryNameNode
28066 NodeManager
27803 ResourceManager
27512 DataNode
http://192.168.8.118:50070(HDFS 管理界面)
http://192.168.8.118:8088(MR 管理界面)
4. 配置 ssh 免登陆
# 生成 ssh 免登陆密钥
# 进入到我的 home 目录
cd ~/.ssh
ssh-keygen -t rsa(四个回车)
执行完这个命令后,会生成两个文件 id_rsa(私钥)、id_rsa.pub(公钥)
将公钥拷贝到要免登陆的机器上
ssh-copy-id localhost
以上是“Hadoop2.4.1 如何实现伪分布式搭建”这篇文章的所有内容,感谢各位的阅读!相信大家都有了一定的了解,希望分享的内容对大家有所帮助,如果还想学习更多知识,欢迎关注丸趣 TV 行业资讯频道!