Hadoop2.6.0上的spark1.5.2集群如何搭建

共计 2739 个字符，预计需要花费 7 分钟才能阅读完成。

这篇文章将为大家详细讲解有关 Hadoop2.6.0 上的 spark1.5.2 集群如何搭建，丸趣 TV 小编觉得挺实用的，因此分享给大家做个参考，希望大家阅读完这篇文章后可以有所收获。

一、Spark 安装前提

安装 Spark 之前需要先安装 Hadoop 集群，因为之前已经安装了 hadoop，所以我直接在之前的 hadoop 集群上安装 spark，但是因为机器内存不够，我只选择 master 以及 slave01 安装 spark 集群，而不要 slave02 了。

二、Spark 安装步骤：

1. 下载 scala-2.11.7.tgz

 http://www.scala-lang.org/download/2.11.7.html

2. 下载 spark-1.5.2-bin-hadoop2.6.tgz(之前安装的 hadoop 是 2.6.0 的)

 http://www.apache.org/dyn/closer.lua/spark/spark-1.5.2/spark-1.5.2-bin-hadoop2.6.tgz

3. 安装 Scala（在 master 上）：

 mkdir /application/scala

 cp /root/scala-2.11.7.tgz /application/scala/

 cd /application/scala/

 tar -zxvf scala-2.11.7.tgz

        创建软链接：

 ln -s /application/scala/scala-2.11.7 /application/scala/scala 

  修改环境变量，添加 SCALA_HOME，并修改 PATH 即可：

vi /etc/profile.d/java.sh

export SCALA_HOME=/application/scala/scala-2.11.7

export PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$SCALA_HOME/bin:$PATH 

  使配置立即生效：

source /etc/profile 

  验证是否安装成功

scala –version

  显示如下：

4. 将 /application/scala 从 master 复制到另外一台机器 slave01 上。

      scp -r /application/scala root@slave01:/application/

5. 将 /etc/profile.d/java.sh 也复制到 slave01 上。

再在 slave01 上进行以下命令操作，使配置生效：

source /etc/profile

6. 安装 Spark（在 master 上）：

 mkdir /application/spark

 cp /root/spark-1.5.2-bin-hadoop2.6.tgz /application/spark/

 tar -zxvf spark-1.5.2-bin-hadoop2.6.tgz

  修改环境变量：将 SPARK_HOME 添加进去，并修改 PATH 即可。

vi /etc/profile.d/java.sh

export SPARK_HOME=/application/spark/spark-1.5.2-bin-hadoop2.6

export PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$SCALA_HOME/bin:$SPARK_HOME/bin:$PATH

  是配置立即生效：

source /etc/profile

7. 修改配置文件

7.1 修改 spark-env.sh 配置文件：

cd /application/spark/spark-1.5.2-bin-hadoop2.6/conf

cp spark-env.sh.template spark-env.sh

vi spark-env.sh

在后面追加

###jdk dir
export JAVA_HOME=/usr/local/jdk
###scala dir
export SCALA_HOME=/application/scala/scala
###the ip of master node of spark
export SPARK_MASTER_IP=192.168.10.1
###the max memory size of worker
export SPARK_WORKER_MEMORY=512m
###hadoop configuration file dir
export HADOOP_CONF_DIR=/application/hadoop/hadoop/etc/hadoop

7.2 修改 slaves 文件

cp slaves.template slaves

vi slaves

添加如下（可能有默认 localhost，将其改成 master）：

master

slave01

8. 将 /application/spark 以及环境变量的配置文件复制到 slave01，并通过 source 命令将文件立即生效

 scp -r /application/spark root@slave01:/application/

 scp -r /etc/profile.d/java.sh root@slave01:/etc/profile.d/java.sh

  修改所属组和用户

 chown -R hadoop:hadoop /application/spark

      9. 到此 Spark 集群搭建完毕。

     10. 启动 Spark 集群：

  启动 Spark 之前需要先将 hadoop 的 dfs 以及 yarn 启动。

 /application/spark/spark-1.5.2-bin-hadoop2.6/sbin/start-all.sh

  启动所有服务之后，在命令行输入 jps，显示如下：

  比 hadoop 集群启动时多了 Master 和 worker

  输入如下命令

 /application/spark/spark-1.5.2-bin-hadoop2.6/bin/spark-shell.sh

  出现 scala 时说明成功。

  在浏览器中输入 192.168.10.1:8080 时，会看到如下图，有两个 Worker

在浏览器中输入 192.168.10.1:4040

出现如图：

三、运行实例 wordcount 实例：

scala var textcount=sc.textFile(hdfs://master:9000/data/words2).filter(line= line.contains( haha)).count()

显示结果如下：

关于“Hadoop2.6.0 上的 spark1.5.2 集群如何搭建”这篇文章就分享到这里了，希望以上内容可以对大家有一定的帮助，使各位可以学到更多知识，如果觉得文章不错，请把它分享出去让更多的人看到。