怎么配置hadoop

共计 758 个字符，预计需要花费 2 分钟才能阅读完成。

这篇文章将为大家详细讲解有关怎么配置 hadoop，丸趣 TV 小编觉得挺实用的，因此分享给大家做个参考，希望大家阅读完这篇文章后可以有所收获。

一、配置 hadoop

首先去 github 上面下载源码：http://hadoop.apache.org/releases.html#News

  在 linux 中安装 jdk 和配置 ssh 免密码登陆，其实最开始我并没有区配置免密码的，后来发现免密码登陆真方便。免密码登陆就是在控制台上面输入：ssh  -keygen  然后一路回车就可以了。

  我是把 hadoop 解压后放在 /home/admin1/ 下载 /hadoop-2.5.2。我们主要是在 etc/hadoop  中配置文件。

  1、core-site.xml

pre name= code   >

 


2、hdfs-site.xml

 
configuration 
  property 
  name dfs.replication /name 
  value 1 /value 
  /property 
 /configuration
 3、mapred-site.xml


 
 
pre name= code   >

 


4、在 yarn-site.xml 中 
configuration 
 property 
 name yarn.resourcemanager.hostname /name 
 value ubuntu2 /value 
  /property 
 !-- reducer 获取数据的方式  -- 
  property 
 name yarn.nodemanager.aux-services /name 
 value mapreduce_shuffle /value 
  /property 
 /configuration
 5、在 hadoop-env.sh 中添加 
export JAVA_HOME=/usr/lib/jvm/java-1.7.0-openjdk-amd64