Hadoop2.4.1如何实现伪分布式搭建

62次阅读
没有评论

共计 3122 个字符,预计需要花费 8 分钟才能阅读完成。

丸趣 TV 小编给大家分享一下 Hadoop2.4.1 如何实现伪分布式搭建,相信大部分人都还不怎么了解,因此分享这篇文章给大家参考一下,希望大家阅读完这篇文章后大有收获,下面让我们一起去了解一下吧!

1. 准备 Linux 环境
 1.0 点击 VMware 快捷方式,右键打开文件所在位置 – 双击 vmnetcfg.exe – VMnet1 host-only – 修改 subnet ip 设置网段:192.168.1.0 子网掩码:255.255.255.0 – apply – ok
  回到 windows — 打开网络和共享中心 – 更改适配器设置 – 右键 VMnet1 – 属性 – 双击 IPv4 – 设置 windows 的 IP:192.168.1.100 子网掩码:255.255.255.0 – 点击确定
  在虚拟软件上 –My Computer – 选中虚拟机 – 右键 – settings – network adapter – host only – ok 
 1.1 修改主机名
 vim /etc/sysconfig/network
 
 NETWORKING=yes
 HOSTNAME=itcast  ###

 1.2 修改 IP
  两种方式:
  第一种:通过 Linux 图形界面进行修改(强烈推荐)
  进入 Linux 图形界面 – 右键点击右上方的两个小电脑 – 点击 Edit connections – 选中当前网络 System eth0 – 点击 edit 按钮 – 选择 IPv4 – method 选择为 manual – 点击 add 按钮 – 添加 IP:192.168.1.101 子网掩码:255.255.255.0 网关:192.168.1.1 – apply
 
  第二种:修改配置文件方式(屌丝程序猿专用)
 vim /etc/sysconfig/network-scripts/ifcfg-eth0
 
 DEVICE= eth0
 BOOTPROTO= static   ###
 HWADDR= 00:0C:29:3C:BF:E7
 IPV6INIT= yes
 NM_CONTROLLED= yes
 ONBOOT= yes
 TYPE= Ethernet
 UUID= ce22eeca-ecde-4536-8cc2-ef0dc36d4a8c
 IPADDR= 192.168.1.101   ###
 NETMASK= 255.255.255.0   ###
 GATEWAY= 192.168.1.1   ###
 
 1.3 修改主机名和 IP 的映射关系
 vim /etc/hosts
 
 192.168.1.101 itcast
 
 1.4 关闭防火墙
 # 查看防火墙状态
 service iptables status
 # 关闭防火墙
 service iptables stop
 # 查看防火墙开机启动状态
 chkconfig iptables –list
 # 关闭防火墙开机启动
 chkconfig iptables off
 
 1.5 重启 Linux
 reboot

2. 安装 JDK
 2.1 上传
 
 2.2 解压 jdk
 # 创建文件夹
 mkdir /usr/java
 # 解压
 tar -zxvf jdk-7u55-linux-i586.tar.gz -C /usr/java/
 
 2.3 将 java 添加到环境变量中
 vim /etc/profile
 # 在文件最后添加
 export JAVA_HOME=/usr/java/jdk1.7.0_5
 export PATH=$PATH:$JAVA_HOME/bin
 
 # 刷新配置
 source /etc/profil
 
3. 安装 hadoop2.4.1(itcast01 是主机名)
  注意:hadoop2.x 的配置文件 $HADOOP_HOME/etc/hadoop
  伪分布式需要修改 5 个配置文件
 3.1 配置 hadoop
  第一个:hadoop-env.sh
 vim hadoop-env.sh
 # 第 27 行
 export JAVA_HOME=/usr/java/jdk1.7.0_65
 
  第二个:core-site.xml
  !– 制定 HDFS 的老大 vim(NameNode)的地址 —
  property
  name fs.defaultFS /name
  value hdfs://itcast01:9000 /value
  /property
  !– 指定 hadoop 运行时产生文件的存储目录 —
  property
  name hadoop.tmp.dir /name
  value /itcast/hadoop-2.4.1/tmp /value
  /property
 
  第三个:hdfs-site.xml
  !– 指定 HDFS 副本的数量 —
  property
  name dfs.replication /name
  value 1 /value
  /property
 
  第四个:mapred-site.xml (mv mapred-site.xml.template mapred-site.xml)
 mv mapred-site.xml.template mapred-site.xml
 vim mapred-site.xml
  !– 指定 mr 运行在 yarn 上 —
  property
  name mapreduce.framework.name /name
  value yarn /value
  /property
 
  第五个:yarn-site.xml
  !– 指定 YARN 的老大(ResourceManager)的地址 —
  property
  name yarn.resourcemanager.hostname /name
  value itcast01 /value
  /property
  !– reducer 获取数据的方式 —
  property
  name yarn.nodemanager.aux-services /name
  value mapreduce_shuffle /value
  /property
 
 3.2 将 hadoop 添加到环境变量
 
 vim /etc/proflie
 export JAVA_HOME=/usr/java/jdk1.7.0_65
 export HADOOP_HOME=/itcast/hadoop-2.4.1
 export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

 source /etc/profile
 
 3.3 格式化 namenode(是对 namenode 进行初始化)
 hdfs namenode -format (hadoop namenode -format)
 
 3.4 启动 hadoop
  先启动 HDFS
 sbin/start-dfs.sh
 
  再启动 YARN
 sbin/start-yarn.sh
 
 3.5 验证是否启动成功
  使用 jps 命令验证
 27408 NameNode
 28218 Jps
 27643 SecondaryNameNode
 28066 NodeManager
 27803 ResourceManager
 27512 DataNode
 
 http://192.168.8.118:50070(HDFS 管理界面)
 http://192.168.8.118:8088(MR 管理界面)
 
4. 配置 ssh 免登陆
 # 生成 ssh 免登陆密钥
 # 进入到我的 home 目录
 cd ~/.ssh

 ssh-keygen -t rsa(四个回车)
  执行完这个命令后,会生成两个文件 id_rsa(私钥)、id_rsa.pub(公钥)
  将公钥拷贝到要免登陆的机器上
 ssh-copy-id localhost
 

以上是“Hadoop2.4.1 如何实现伪分布式搭建”这篇文章的所有内容,感谢各位的阅读!相信大家都有了一定的了解,希望分享的内容对大家有所帮助,如果还想学习更多知识,欢迎关注丸趣 TV 行业资讯频道!

正文完
 
丸趣
版权声明:本站原创文章,由 丸趣 2023-08-25发表,共计3122字。
转载说明:除特殊说明外本站除技术相关以外文章皆由网络搜集发布,转载请注明出处。
评论(没有评论)