🌀 技术人生
凡事有交代,件件有着落,事事有回音
Storm中并行度概念简介

当我们处理的数据量越来越大的时候,很少的节点处理起来就会变得困难,我们能想到的办法就是增加节点数,但是增加服务器节点有许多的限制,并不是首选方法,首选发放是增加Storm程序的并行度,进行代码的优化

而并行度是要配置多个地方的,比如Work Executor Task,这三个之间又是互相影响的

一个运行的Topology就是由集群中多台物理机上的多个worker进程组成

一个worker进程执行的是一个Topology的子集

一个worker进程会启动1到n个线程来执行一个Topology中的component(Spout或者Bolt)

executor是一个被worker进程启动的单独线程,每个executor只会运行一个topology的一个component

task是最终运行spout或者bolt的最小执行单元

默认的:

一个supervisor节点最多启动4个worker进程

每一个topology默认占用一个worker进程

每个worker进程会启动一个executor

每个executor启动一个task

Storm还可以更改正在运行的Topology的并行度,详细的官方文档有绍:

http://storm.apache.org/releases/1.2.2/Understanding-the-parallelism-of-a-Storm-topology.html


最后修改于 2018-11-14

知识共享许可协议
本作品采用知识共享署名-非商业性使用-相同方式共享 4.0 国际许可协议进行许可。