共计 615 个字符,预计需要花费 2 分钟才能阅读完成。
这篇文章主要介绍了 mac 下如何搭建 Spark 开发环境,具有一定借鉴价值,感兴趣的朋友可以参考下,希望大家阅读完这篇文章之后大有收获,下面让丸趣 TV 小编带着大家一起了解一下。
一. 下载 scale 安装包
wget https://downloads.lightbend.com/scala/2.12.2/scala-2.12.2.tgz
二. 下载 spark 安装包
wget http://mirrors.tuna.tsinghua.edu.cn/apache/spark/spark-2.1.1/spark-2.1.1-bin-hadoop2.7.tgz
三. 解压缩到 /usr/local, 实例如下:
四. 配置环境变量
五. 配置 spark
向 spark-env.sh 配置如下环境参数
export SCALA_HOME=/usr/local/scala-2.12.2
export SPARK_MASTER_IP=localhost
export SPARK_WORKER_MEMORY=4g
六. 启动 spark
进入到 /usr/local/spark-2.1.1-bin-hadoop2.7/sbin 目录
启动脚本:start-all.sh
七. 启动 spark-shell
感谢你能够认真阅读完这篇文章,希望丸趣 TV 小编分享的“mac 下如何搭建 Spark 开发环境”这篇文章对大家有帮助,同时也希望大家多多支持丸趣 TV,关注丸趣 TV 行业资讯频道,更多相关知识等着你来学习!