storm topology优化思路是什么

77次阅读
没有评论

共计 838 个字符,预计需要花费 3 分钟才能阅读完成。

本篇内容主要讲解“storm topology 优化思路是什么”,感兴趣的朋友不妨来看看。本文介绍的方法操作简单快捷,实用性强。下面就让丸趣 TV 小编来带大家学习“storm topology 优化思路是什么”吧!

  先假设一种环境,三台机器,cpu core 4,net KM 网

topology

componentnameexecutor latency(ms)spouts-boltA0.5boltB0.1boltC0.5boltD1.0boltE0.2

 executor 代表数据进入 bolt execute 方法执行的时间,storm 通过采样获得,采样在总数上肯定会有误差,但平均数我们暂且认为其一定,这就相当于在 1W 个 1 中随机选择一个,怎么选都是 1,所以暂且我们假设 executor latency 可信,最后我们通过实际效率反过来再验证我们的假设

  假定,我们以一种参数提交了 topology,运行后 ui 查看参数如表格,我们观察发现,A,C 两个 bolt 延迟在 0.5ms,B bolt 延迟在 0.1ms,D bolt 延迟在 1.0ms,E bolt 延迟在 0.2ms,所以可以认为性能:B=2E=5A=5C=10D,所以我们提高整个 topology 的效率可以调整各 bolt 的并行度,我们设 B 的并行度为 X,可以得出   X+2X+5X*2+10X=All executor,如果在某个 bolt 中有阻塞情况,我们可以再额外提高一些并行度,该环境中三台机器,最大并行度为 3 *4=12,X》=1,所以 X =1,由此可得出,B bolt 并行度为 1,所以每秒处理效率大概 =1000/0.1*1=1W

  另外在 storm 中每个 worker 有个线程池,池大小默认为 core 数,我们可以根据情况提高池大小,提高 cpu 利用率

其它参数这里不提了,根据实际情况可以酌情调整

到此,相信大家对“storm topology 优化思路是什么”有了更深的了解,不妨来实际操作一番吧!这里是丸趣 TV 网站,更多相关内容可以进入相关频道进行查询,关注我们,继续学习!

正文完
 
丸趣
版权声明:本站原创文章,由 丸趣 2023-08-16发表,共计838字。
转载说明:除特殊说明外本站除技术相关以外文章皆由网络搜集发布,转载请注明出处。
评论(没有评论)