共计 2809 个字符,预计需要花费 8 分钟才能阅读完成。
这篇文章主要为大家展示了“hadoop2.7+Spark1.4 环境如何搭建”,内容简而易懂,条理清晰,希望能够帮助大家解决疑惑,下面让丸趣 TV 小编带领大家一起研究并学习一下“hadoop2.7+Spark1.4 环境如何搭建”这篇文章吧。
一、hadoop 伪分布式搭建
其实官网有比较详实的说明,英语好的可以直接看官网,地址
1、安装 JDK1.7
这个省略,官网显示 1.6 可以,但是我用 openjdk1.6 出了异常,JDK1.6 没试,直接用了 JDK1.7
配置好环境变量
vi /etc/profile
export JAVA_HOME=/usr/local/jdk1.7.0_79
export CLASSPATH=.:$JAVE_HOME/lib.tools.jar
export PATH=$PATH:$JAVA_HOME/bin
添加完后执行命令使配置生效
source /etc/profile
2、安装 ssh、rsync,(以 ubuntu 为例)
$ sudo apt-get install ssh
$ sudo apt-get install rsync
3、下载 hadoop 编译包,镜像地址(国内镜像竟然比 US 的还慢,不能忍,注意 2.7 的编译包为 64 位)
查是 32 还是 64 位的办法
cd hadoop-2.7.0/lib/native
file libhadoop.so.1.0.0
hadoop-2.7.0/lib/native/libhadoop.so.1.0.0: ELF 64-bit LSB shared object, AMD x86-64, version 1 (SYSV), not stripped
4、配置环境变量
hadoop 配置文件指定 java 路径
etc/hadoop/hadoop-env.sh
export JAVA_HOME=/usr/local/jdk1.7.0_79
系统环境变量
export HADOOP_HOME=/usr/local/hadoop-2.7.0
export PATH=$PATH:$HADOOP_HOME/bin
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS= -Djava.library.path=$HADOOP_HOME/lib
后两条不加会出现
You have loaded library /usr/hadoop/hadoop-2.7.0/lib/native/libhadoop.so.1.0.0 which might have disabled stack guard. The VM will try to fix the stack guard now.
It s highly recommended that you fix the library with execstack -c libfile , or link it with -z noexecstack .
添加完后执行命令使配置生效
source /etc/profile
执行命令查看是否成功
hadoop version
5、修改 hadoop 配置文件
etc/hadoop/core-site.xml:
configuration
property
name fs.defaultFS /name
value hdfs://localhost:9000 /value
/property
/configuration
etc/hadoop/hdfs-site.xml:
configuration
property
name dfs.replication /name
value 1 /value
/property
/configuration
6、设置 hadoop ssh 无密码访问
$ ssh-keygen -t dsa -P -f ~/.ssh/id_dsa
$ cat ~/.ssh/id_dsa.pub ~/.ssh/authorized_keys
$ export HADOOP\_PREFIX=/usr/local/hadoop-2.7.0
7、格式化节点和启动 hadoop
$ bin/hdfs namenode -format
$ sbin/start-dfs.sh
打开浏览器 http://localhost:50070/ 看是否成功
hdfs 配置:username 最好和当前用户名相同,不然会可能出现权限问题
$ bin/hdfs dfs -mkdir /user
$ bin/hdfs dfs -mkdir /user/ username
8、yarn 配置
etc/hadoop/mapred-site.xml:
configuration
property
name mapreduce.framework.name /name
value yarn /value
/property
/configuration
etc/hadoop/yarn-site.xml:
configuration
property
name yarn.nodemanager.aux-services /name
value mapreduce_shuffle /value
/property
/configuration
启动 yarn
$ sbin/start-yarn.sh
http://localhost:8088/ 查看是否成功
至此 hadoop 单节点伪分布式安装配置完成
二、spark 安装配置
spark 的安装相对就要简单多了
1、首先下载,地址
因为我之前已经有 hadoop 了所以选择第二个下载
2、下载解压后进入目录
cd conf
cp spark-env.sh.template spark-env.sh
cp spark-defaults.conf.template spark-defaults.conf
vi conf/spark-env.sh
最后添加
export HADOOP_HOME=/usr/local/hadoop-2.7.0
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export SPARK_DIST_CLASSPATH=$(hadoop classpath)
最后一个需要 hadoop 添加了环境变量才行。
官网配置中没有前两个配置,我运行例子时总报错,找不到 hdfs jar 包。
3、回到解压目录运行示例
./bin/run-example SparkPi 10
成功则到此配置完成
以上是“hadoop2.7+Spark1.4 环境如何搭建”这篇文章的所有内容,感谢各位的阅读!相信大家都有了一定的了解,希望分享的内容对大家有所帮助,如果还想学习更多知识,欢迎关注丸趣 TV 行业资讯频道!