Storm单机安装的方法是什么

33次阅读
没有评论

共计 2333 个字符,预计需要花费 6 分钟才能阅读完成。

这篇文章主要讲解了“Storm 单机安装的方法是什么”,文中的讲解内容简单清晰,易于学习与理解,下面请大家跟着丸趣 TV 小编的思路慢慢深入,一起来研究和学习“Storm 单机安装的方法是什么”吧!

重点讲解:

conf.setNumWorkers(3);——– 创建的 worker 的进程会平均分配到 storm 的集群节点上的

StormSubmitter.submitTologyWithProgressBar(args[0],conf,builder.createTology());

—- args[0]  – 就是前面代码中的最后一个 Blot 的名字 count

1、Storm 的集群成员:

nimbus

ZK

supervisor

worker(其中有 executer)

作用:

nimbus:负责接收客户端数据和调度,调度时向 zk 要 supervisor 的信息,然后根据信息调度,nimbus 和 supervisor 不直接通信

supervisor:负责监控下级节点的运行状态,如果 supervisor 挂掉,nimbus 会根据 zk 返回的信息重新调度

worker:worker 是进程,当 worker 拿到任务时会启动一个 executor 线程,然后 executor 线程工作

注:,nimbus 负责任务调度和接收客户端数据,supervisor 和 worker 都是进程,supervisor 是管理进程,worker 是工作进程,executor 才是真正的工作线程。

ZK:高可用,配置信息存储在 znode 上

2、Strom 的安装

1)、部署依赖环境     —  要求 Java  6+  、Python  2.6.6+

2)、部署 zookeeper

–3.4.5+

–zk 为啥要用 3.4.5,因为他支持磁盘的快照和 namenode 的定期删除,避免磁盘被打满。

3)、分发 storm 包 — 这里使用 0.9.4 版本

4)、配置 storm    — 修改 storm.yaml 配置文件

5)、启动 strom

单机安装

Java,python 部署   运行 java -version   和 python  -version 验证版本
上传 apache-storm-0.9.5.tar.gz
tar zxf apache-storm-0.9.5.tar.gz
cd apache-storm-0.9.5
mkdir logs
./bin/storm dev-zookeeper ./logs/zk.out 2 1
./bin/storm nimbus ./logs/nimbus.out 2 1
./bin/storm ui ./logs/ui.out 2 1
./bin/storm supervisor ./logs/supervisor.out 2 1
./bin/storm logviewer ./logs/logviewer.out 2 1
验证:登录地址 http://node11:8080/ 查看

jobs  — 该命令用于查看当前终端后台运行的任务。

ss  -tanl  —- 查看端口占用

6627 端口 —-》nimbus

supervisor  –》不许要端口,只需要监视 worker

执行此命令,感受一下 storm

./bin/storm  jar examples/storm-starter/storm-starter-topologies-0.9.4.jar   storm.starter.WordCountTopology  wordcount

storm 三节点的部署

3 个节点部署 Zookeeper 集群(这里不做演示)

node11 为 nimbus,开始配置

1、将 storm 包解压

2、修改 storm/conf/storm.yaml 配置文件,内容如下(注意,其中的空格是有用的,不能删除)

storm.zookeeper.servers:
  – 192.168.47.21
  – 192.168.47.22
  – 192.168.47.23

storm.local.dir: /tmp/storm

nimbus.host: 192.168.47.21

supervisor.slots.ports:
    – 6700
    – 6701
    – 6702
    – 6703

3、在 storm 目录中创建 logs 目录
4、启动 ZooKeeper 集群

5、node11 上启动 Nimbus
$ ./bin/storm nimbus ./logs/nimbus.out 2 1
$ tail -f logs/nimbus.log
$ ./bin/storm ui ./logs/ui.out 2 1
$ tail -f logs/ui.log

6、节点 nod12 和 node13 启动 supervisor,按照配置,每启动一个 supervisor 就有了 4 个 slots
$ ./bin/storm supervisor ./logs/supervisor.out 2 1
$ tail -f logs/supervisor.log
当然 node11 也可以启动 supervisor

7、http://192.168.47.21:8080/
$ bin/storm jar examples/storm-starter/storm-starter-topologies-0.9.4.jar storm.starter.WordCountTopology test

8、环境变量可以配置也可以不配置
export STORM_HOME=/usr/storm
export PATH=$PATH:$STORM_HOME/bin

感谢各位的阅读,以上就是“Storm 单机安装的方法是什么”的内容了,经过本文的学习后,相信大家对 Storm 单机安装的方法是什么这一问题有了更深刻的体会,具体使用情况还需要大家实践验证。这里是丸趣 TV,丸趣 TV 小编将为大家推送更多相关知识点的文章,欢迎关注!

正文完
 
丸趣
版权声明:本站原创文章,由 丸趣 2023-08-16发表,共计2333字。
转载说明:除特殊说明外本站除技术相关以外文章皆由网络搜集发布,转载请注明出处。
评论(没有评论)