共计 2739 个字符,预计需要花费 7 分钟才能阅读完成。
这篇文章将为大家详细讲解有关 Hadoop2.6.0 上的 spark1.5.2 集群如何搭建,丸趣 TV 小编觉得挺实用的,因此分享给大家做个参考,希望大家阅读完这篇文章后可以有所收获。
一、Spark 安装前提
安装 Spark 之前需要先安装 Hadoop 集群,因为之前已经安装了 hadoop,所以我直接在之前的 hadoop 集群上安装 spark,但是因为机器内存不够,我只选择 master 以及 slave01 安装 spark 集群,而不要 slave02 了。
二、Spark 安装步骤:
1. 下载 scala-2.11.7.tgz
http://www.scala-lang.org/download/2.11.7.html
2. 下载 spark-1.5.2-bin-hadoop2.6.tgz(之前安装的 hadoop 是 2.6.0 的)
http://www.apache.org/dyn/closer.lua/spark/spark-1.5.2/spark-1.5.2-bin-hadoop2.6.tgz
3. 安装 Scala(在 master 上):
mkdir /application/scala
cp /root/scala-2.11.7.tgz /application/scala/
cd /application/scala/
tar -zxvf scala-2.11.7.tgz
创建软链接:
ln -s /application/scala/scala-2.11.7 /application/scala/scala
修改环境变量,添加 SCALA_HOME,并修改 PATH 即可:
vi /etc/profile.d/java.sh
export SCALA_HOME=/application/scala/scala-2.11.7
export PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$SCALA_HOME/bin:$PATH
使配置立即生效:
source /etc/profile
验证是否安装成功
scala –version
显示如下:
4. 将 /application/scala 从 master 复制到另外一台机器 slave01 上。
scp -r /application/scala root@slave01:/application/
5. 将 /etc/profile.d/java.sh 也复制到 slave01 上。
再在 slave01 上进行以下命令操作,使配置生效:
source /etc/profile
6. 安装 Spark(在 master 上):
mkdir /application/spark
cp /root/spark-1.5.2-bin-hadoop2.6.tgz /application/spark/
tar -zxvf spark-1.5.2-bin-hadoop2.6.tgz
修改环境变量:将 SPARK_HOME 添加进去,并修改 PATH 即可。
vi /etc/profile.d/java.sh
export SPARK_HOME=/application/spark/spark-1.5.2-bin-hadoop2.6
export PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$SCALA_HOME/bin:$SPARK_HOME/bin:$PATH
是配置立即生效:
source /etc/profile
7. 修改配置文件
7.1 修改 spark-env.sh 配置文件:
cd /application/spark/spark-1.5.2-bin-hadoop2.6/conf
cp spark-env.sh.template spark-env.sh
vi spark-env.sh
在后面追加
###jdk dir
export JAVA_HOME=/usr/local/jdk
###scala dir
export SCALA_HOME=/application/scala/scala
###the ip of master node of spark
export SPARK_MASTER_IP=192.168.10.1
###the max memory size of worker
export SPARK_WORKER_MEMORY=512m
###hadoop configuration file dir
export HADOOP_CONF_DIR=/application/hadoop/hadoop/etc/hadoop
7.2 修改 slaves 文件
cp slaves.template slaves
vi slaves
添加如下(可能有默认 localhost,将其改成 master):
master
slave01
8. 将 /application/spark 以及环境变量的配置文件复制到 slave01,并通过 source 命令将文件立即生效
scp -r /application/spark root@slave01:/application/
scp -r /etc/profile.d/java.sh root@slave01:/etc/profile.d/java.sh
修改所属组和用户
chown -R hadoop:hadoop /application/spark
9. 到此 Spark 集群搭建完毕。
10. 启动 Spark 集群:
启动 Spark 之前需要先将 hadoop 的 dfs 以及 yarn 启动。
/application/spark/spark-1.5.2-bin-hadoop2.6/sbin/start-all.sh
启动所有服务之后,在命令行输入 jps,显示如下:
比 hadoop 集群启动时多了 Master 和 worker
输入如下命令
/application/spark/spark-1.5.2-bin-hadoop2.6/bin/spark-shell.sh
出现 scala 时说明成功。
在浏览器中输入 192.168.10.1:8080 时,会看到如下图,有两个 Worker
在浏览器中输入 192.168.10.1:4040
出现如图:
三、运行实例 wordcount 实例:
scala var textcount=sc.textFile(hdfs://master:9000/data/words2).filter(line= line.contains( haha)).count()
显示结果如下:
关于“Hadoop2.6.0 上的 spark1.5.2 集群如何搭建”这篇文章就分享到这里了,希望以上内容可以对大家有一定的帮助,使各位可以学到更多知识,如果觉得文章不错,请把它分享出去让更多的人看到。