mac下如何搭建Spark开发环境

73次阅读
没有评论

共计 615 个字符,预计需要花费 2 分钟才能阅读完成。

这篇文章主要介绍了 mac 下如何搭建 Spark 开发环境,具有一定借鉴价值,感兴趣的朋友可以参考下,希望大家阅读完这篇文章之后大有收获,下面让丸趣 TV 小编带着大家一起了解一下。

一. 下载 scale 安装包

wget https://downloads.lightbend.com/scala/2.12.2/scala-2.12.2.tgz

二. 下载 spark 安装包

wget http://mirrors.tuna.tsinghua.edu.cn/apache/spark/spark-2.1.1/spark-2.1.1-bin-hadoop2.7.tgz

三. 解压缩到 /usr/local, 实例如下:

四. 配置环境变量

五. 配置 spark

向 spark-env.sh 配置如下环境参数

export SCALA_HOME=/usr/local/scala-2.12.2

export SPARK_MASTER_IP=localhost

export SPARK_WORKER_MEMORY=4g

六. 启动 spark

进入到 /usr/local/spark-2.1.1-bin-hadoop2.7/sbin 目录

启动脚本:start-all.sh

七. 启动 spark-shell

感谢你能够认真阅读完这篇文章,希望丸趣 TV 小编分享的“mac 下如何搭建 Spark 开发环境”这篇文章对大家有帮助,同时也希望大家多多支持丸趣 TV,关注丸趣 TV 行业资讯频道,更多相关知识等着你来学习!

正文完
 
丸趣
版权声明:本站原创文章,由 丸趣 2023-08-25发表,共计615字。
转载说明:除特殊说明外本站除技术相关以外文章皆由网络搜集发布,转载请注明出处。
评论(没有评论)