storm源码分析(七)

2021SC@SDUSC

获取属于Worker的Executor

read-worker-executors函数用来计算分配到该Worker的Executor,它通过调用Storm-cluster-state的assignment-info函数获得所有Topology的分配信息，然后利用worker的assignemtn-id以及port进行过滤，得到某个worker所属的Executor,这里的assignment-id对应于node,Worker启动后，其执行的Executor集合将不再发生变化，但当任务分配情况发生变化时,Supervisor就会重启worker来处理任务。其中，Nimbus在计算分吴分配时会尽量不改变Worker中已执行的Executor。当前Worker中任何一个Executor处理失败都会导致Worker重启。

创建Executor中接收消息队列和查找表

mk-receive-queue-map函数用于为Worker中的每一个Executor创建接收队列，并将其存入hash表,其中键为ExecutorId,值为Disruptor Queue的对象；

ExecutorId实际上为含有两个元素的数据，即[startTaskId,endTaskId],表示该Executor执行的任务区间。

worker中的接收函数

Worker中的mk-transfer-local-fn函数用于生产并发送消息到Executor的接收队列，同一个worker内部的Executor之间会通过该函数传递消息。

short-executor-receive-queue-map存储Executor中第一个Task的taskid到该Executor对应的接收队列(Distuptor Queue)的映射关系。

task-getter函数以ZMQ 发来的消息为传入参数，这里的消息为一个含有两个元素的数组，第一个元素为TaskId,task-getter函数的目标是通过消息的taskId获得与其对应的Executor中第一个Task的TaskId,第二个元素为消息的实际内容。

定义函数体，函数的输入为ZMQ收到的一组消息tuple-batch,按照与消息Taskid对应的Executor中第一个Task的TaskId对消息进行分组，其变量grouped对应的键为Executor中第一个Task的Taskid,值为属于该executor的一组消息；

通过executor中第一个task的taskid获得与Executor相对应的接收消息队列q,调用disruptor/publish方法将收到的消息发送至队列q中

标签：分析,函数,队列,Worker,worker,源码,消息,storm,Executor
来源： https://blog.csdn.net/null_wry/article/details/121259162