Hadoop2.6.0上的spark1.5.2集群如何搭建

65次阅读
没有评论

共计 2739 个字符,预计需要花费 7 分钟才能阅读完成。

这篇文章将为大家详细讲解有关 Hadoop2.6.0 上的 spark1.5.2 集群如何搭建,丸趣 TV 小编觉得挺实用的,因此分享给大家做个参考,希望大家阅读完这篇文章后可以有所收获。

一、Spark 安装前提

安装 Spark 之前需要先安装 Hadoop 集群,因为之前已经安装了 hadoop,所以我直接在之前的 hadoop 集群上安装 spark,但是因为机器内存不够,我只选择 master 以及 slave01 安装 spark 集群,而不要 slave02 了。

二、Spark 安装步骤:

1. 下载 scala-2.11.7.tgz

 http://www.scala-lang.org/download/2.11.7.html

2. 下载 spark-1.5.2-bin-hadoop2.6.tgz(之前安装的 hadoop 是 2.6.0 的)

 http://www.apache.org/dyn/closer.lua/spark/spark-1.5.2/spark-1.5.2-bin-hadoop2.6.tgz

3. 安装 Scala(在 master 上):

 mkdir /application/scala

 cp /root/scala-2.11.7.tgz /application/scala/

 cd /application/scala/

 tar -zxvf scala-2.11.7.tgz

        创建软链接:

 ln -s /application/scala/scala-2.11.7 /application/scala/scala 

  修改环境变量,添加 SCALA_HOME,并修改 PATH 即可:

vi /etc/profile.d/java.sh

export SCALA_HOME=/application/scala/scala-2.11.7

export PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$SCALA_HOME/bin:$PATH 

  使配置立即生效:

source /etc/profile 

  验证是否安装成功

scala –version

  显示如下:

4. 将 /application/scala 从 master 复制到另外一台机器 slave01 上。

      scp -r /application/scala root@slave01:/application/

5. 将 /etc/profile.d/java.sh 也复制到 slave01 上。

再在 slave01 上进行以下命令操作,使配置生效:

source /etc/profile

6. 安装 Spark(在 master 上):

 mkdir /application/spark

 cp /root/spark-1.5.2-bin-hadoop2.6.tgz /application/spark/

 tar -zxvf spark-1.5.2-bin-hadoop2.6.tgz

  修改环境变量:将 SPARK_HOME 添加进去,并修改 PATH 即可。

vi /etc/profile.d/java.sh

export SPARK_HOME=/application/spark/spark-1.5.2-bin-hadoop2.6

export PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$SCALA_HOME/bin:$SPARK_HOME/bin:$PATH

  是配置立即生效:

source /etc/profile

7. 修改配置文件

7.1 修改 spark-env.sh 配置文件:

cd /application/spark/spark-1.5.2-bin-hadoop2.6/conf

cp spark-env.sh.template spark-env.sh

vi spark-env.sh

在后面追加

###jdk dir
export JAVA_HOME=/usr/local/jdk
###scala dir
export SCALA_HOME=/application/scala/scala
###the ip of master node of spark
export SPARK_MASTER_IP=192.168.10.1
###the max memory size of worker
export SPARK_WORKER_MEMORY=512m
###hadoop configuration file dir
export HADOOP_CONF_DIR=/application/hadoop/hadoop/etc/hadoop

7.2 修改 slaves 文件

cp slaves.template slaves

vi slaves

添加如下(可能有默认 localhost,将其改成 master):

master

slave01

8. 将 /application/spark 以及环境变量的配置文件复制到 slave01,并通过 source 命令将文件立即生效

 scp -r /application/spark root@slave01:/application/

 scp -r /etc/profile.d/java.sh root@slave01:/etc/profile.d/java.sh

  修改所属组和用户

 chown -R hadoop:hadoop /application/spark

      9. 到此 Spark 集群搭建完毕。

     10. 启动 Spark 集群:

  启动 Spark 之前需要先将 hadoop 的 dfs 以及 yarn 启动。

 /application/spark/spark-1.5.2-bin-hadoop2.6/sbin/start-all.sh

  启动所有服务之后,在命令行输入 jps,显示如下:

 

  比 hadoop 集群启动时多了 Master 和 worker

  输入如下命令

 /application/spark/spark-1.5.2-bin-hadoop2.6/bin/spark-shell.sh

  出现 scala 时说明成功。

  在浏览器中输入 192.168.10.1:8080 时,会看到如下图,有两个 Worker

在浏览器中输入 192.168.10.1:4040

出现如图:

三、运行实例 wordcount 实例:

scala var textcount=sc.textFile(hdfs://master:9000/data/words2).filter(line= line.contains( haha)).count()

显示结果如下:

关于“Hadoop2.6.0 上的 spark1.5.2 集群如何搭建”这篇文章就分享到这里了,希望以上内容可以对大家有一定的帮助,使各位可以学到更多知识,如果觉得文章不错,请把它分享出去让更多的人看到。

正文完
 
丸趣
版权声明:本站原创文章,由 丸趣 2023-08-25发表,共计2739字。
转载说明:除特殊说明外本站除技术相关以外文章皆由网络搜集发布,转载请注明出处。
评论(没有评论)