如何构建Spark集群

81次阅读
没有评论

共计 767 个字符,预计需要花费 2 分钟才能阅读完成。

这篇文章主要讲解了“如何构建 Spark 集群”,文中的讲解内容简单清晰,易于学习与理解,下面请大家跟着丸趣 TV 小编的思路慢慢深入,一起来研究和学习“如何构建 Spark 集群”吧!

从控制台我们可以看见有两个 DataNode,此时我们点击“Live Nodes”查看一下其信息:

从控制台中看到了我们的两个 Datanode 节点 SparkWorker1 和 SparkWorker2,这正是我们预期中的!

第三步:启动 yarn 集群

使用 jps 命令可以发现 SparkMaster 机器上启动了 ResourceManager 进程:

而在 SparkWorker1 和 SparkWorker2 上则分别启动了 NodeManager 进程:

在 SparkMaster 上访问 http://SparkMaster:8088  可以通过 Web 控制台查看 ResourceManager 运行状态:

在 SparkMaster 上访问 http://SparkWorker1:8042  可以通过 Web 控制台查看 SparkWorker1 上的 NodeManager 运行状态:

在 SparkMaster 上访问 http://SparkWorker2:8042  可以通过 Web 控制台查看 SparkWorker2 上的 NodeManager 运行状态:

接下来使用“mr-jobhistory-daemon.sh”来启动 JobHistory Server:

启动后可以通过 http://SparkMaster:19888  在 Web 控制台上看到 JobHistory 中的任务执行历史信息:

感谢各位的阅读,以上就是“如何构建 Spark 集群”的内容了,经过本文的学习后,相信大家对如何构建 Spark 集群这一问题有了更深刻的体会,具体使用情况还需要大家实践验证。这里是丸趣 TV,丸趣 TV 小编将为大家推送更多相关知识点的文章,欢迎关注!

正文完
 
丸趣
版权声明:本站原创文章,由 丸趣 2023-08-16发表,共计767字。
转载说明:除特殊说明外本站除技术相关以外文章皆由网络搜集发布,转载请注明出处。
评论(没有评论)