共计 2333 个字符,预计需要花费 6 分钟才能阅读完成。
这篇文章主要讲解了“Storm 单机安装的方法是什么”,文中的讲解内容简单清晰,易于学习与理解,下面请大家跟着丸趣 TV 小编的思路慢慢深入,一起来研究和学习“Storm 单机安装的方法是什么”吧!
重点讲解:
conf.setNumWorkers(3);——– 创建的 worker 的进程会平均分配到 storm 的集群节点上的
StormSubmitter.submitTologyWithProgressBar(args[0],conf,builder.createTology());
—- args[0] – 就是前面代码中的最后一个 Blot 的名字 count
1、Storm 的集群成员:
nimbus
ZK
supervisor
worker(其中有 executer)
作用:
nimbus:负责接收客户端数据和调度,调度时向 zk 要 supervisor 的信息,然后根据信息调度,nimbus 和 supervisor 不直接通信
supervisor:负责监控下级节点的运行状态,如果 supervisor 挂掉,nimbus 会根据 zk 返回的信息重新调度
worker:worker 是进程,当 worker 拿到任务时会启动一个 executor 线程,然后 executor 线程工作
注:,nimbus 负责任务调度和接收客户端数据,supervisor 和 worker 都是进程,supervisor 是管理进程,worker 是工作进程,executor 才是真正的工作线程。
ZK:高可用,配置信息存储在 znode 上
2、Strom 的安装
1)、部署依赖环境 — 要求 Java 6+ 、Python 2.6.6+
2)、部署 zookeeper
–3.4.5+
–zk 为啥要用 3.4.5,因为他支持磁盘的快照和 namenode 的定期删除,避免磁盘被打满。
3)、分发 storm 包 — 这里使用 0.9.4 版本
4)、配置 storm — 修改 storm.yaml 配置文件
5)、启动 strom
单机安装
Java,python 部署 运行 java -version 和 python -version 验证版本
上传 apache-storm-0.9.5.tar.gz
tar zxf apache-storm-0.9.5.tar.gz
cd apache-storm-0.9.5
mkdir logs
./bin/storm dev-zookeeper ./logs/zk.out 2 1
./bin/storm nimbus ./logs/nimbus.out 2 1
./bin/storm ui ./logs/ui.out 2 1
./bin/storm supervisor ./logs/supervisor.out 2 1
./bin/storm logviewer ./logs/logviewer.out 2 1
验证:登录地址 http://node11:8080/ 查看
jobs — 该命令用于查看当前终端后台运行的任务。
ss -tanl —- 查看端口占用
6627 端口 —-》nimbus
supervisor –》不许要端口,只需要监视 worker
执行此命令,感受一下 storm
./bin/storm jar examples/storm-starter/storm-starter-topologies-0.9.4.jar storm.starter.WordCountTopology wordcount
storm 三节点的部署
3 个节点部署 Zookeeper 集群(这里不做演示)
node11 为 nimbus,开始配置
1、将 storm 包解压
2、修改 storm/conf/storm.yaml 配置文件,内容如下(注意,其中的空格是有用的,不能删除)
storm.zookeeper.servers:
– 192.168.47.21
– 192.168.47.22
– 192.168.47.23
storm.local.dir: /tmp/storm
nimbus.host: 192.168.47.21
supervisor.slots.ports:
– 6700
– 6701
– 6702
– 6703
3、在 storm 目录中创建 logs 目录
4、启动 ZooKeeper 集群
5、node11 上启动 Nimbus
$ ./bin/storm nimbus ./logs/nimbus.out 2 1
$ tail -f logs/nimbus.log
$ ./bin/storm ui ./logs/ui.out 2 1
$ tail -f logs/ui.log
6、节点 nod12 和 node13 启动 supervisor,按照配置,每启动一个 supervisor 就有了 4 个 slots
$ ./bin/storm supervisor ./logs/supervisor.out 2 1
$ tail -f logs/supervisor.log
当然 node11 也可以启动 supervisor
7、http://192.168.47.21:8080/
$ bin/storm jar examples/storm-starter/storm-starter-topologies-0.9.4.jar storm.starter.WordCountTopology test
8、环境变量可以配置也可以不配置
export STORM_HOME=/usr/storm
export PATH=$PATH:$STORM_HOME/bin
感谢各位的阅读,以上就是“Storm 单机安装的方法是什么”的内容了,经过本文的学习后,相信大家对 Storm 单机安装的方法是什么这一问题有了更深刻的体会,具体使用情况还需要大家实践验证。这里是丸趣 TV,丸趣 TV 小编将为大家推送更多相关知识点的文章,欢迎关注!