spark节点通信模型_ing
作者：互联网
先定义4个节点：master worker executor driver， 通信链路如下图所示
worker与master创建了通信的路径1，
driver分别创建了与master和executor通信的endpoint，此为路径2和3
------------------------
路径1的具体执行类为 两个实现了RpcEndpoint接口的Master 和 Worker （具体是IsolatedRpcEndpoint）
------------------------
路径2的dirver端：接口 CoarseGrainedSchedulerBackend 负责与master通信，如果是standalone模式，CoarseGrainedSchedulerBackend的具体实现是 StandaloneSchedulerBackend，
但是CoarseGrainedSchedulerBackend并不具备通信功能，它不是RpcEndpoint的实现类
所以StandaloneSchedulerBackend内部实现了一个StandaloneAppClient实例， StandaloneAppClient通过内部类ClientEndPoint 与master通信。ClientEndPoint 是RpcEndpoint的实现类所以能用来通信
由此可见CoarseGrainedSchedulerBackend的功能并不单单用来通信，还有其他作用。
------------------------
路径3的实现为DriverEndPoint 和 CoarseGrainedExecutorBackend，都是RpcEndpoint的实现类。
标签：------------------------,CoarseGrainedSchedulerBackend,RpcEndpoint,通信模型,路径,通信,ma 来源： https://www.cnblogs.com/feizaijiawenzhu/p/14864755.html