首页 > TAG信息列表 > streamGraph
Flink执行计划第三层——JobGraph
《Flink执行计划第一层——StreamTransformation》 构造了列表+链表的结构； 《Flink执行计划第二层——StreamGraph》 转化第一层为图结构； 接下来，就该转化 StreamGraph 为 JobGraph 了。StreamGraph 继承了抽象类 StreamingPlan 并实现了 getJobGraph 方法： /** * Gets the assemblFlink源码解读(二)：JobGraph源码解读
目录 JobGraph源码解读 JobGraph生成过程 入口函数 createJobGraph函数 参考 JobGraph源码解读 上回说到，StreamGraph的源码其中是在客户端生成，并且是生成Node节点和Edge，主要是通过StreamAPI生成，表示拓扑结构，这次给大家讲讲JobGraph的生成(以Yarn集群模式)。 首先，JobGraph是基于flink的执行原理猜想
一，flink的架构，flink的组件和各自的作用 client：根据job生成流图StreamGraph，优化流图生成Job图JobGraph，在这个过程中，会将一些算子合并组成operator chain，提交Job到集群。JobManager：接收Job，使用Job Master将JobGraph转换为ExecutionGraph，向ResouceManager申请资源，根据Executionflink：JobGraph生成过程分析
1、JobGraph是由StreamGraph转换而来，当client将StreamGraph提交后，job启动前会先完成转换，统一的转换入口如下： 2、StreamingJobGraphGenerator类 StreamingJobGraphGenerator的职责就是将StreamGraph转换成JobGraph，在转换的过程中要根据StreamGraph中的节点及边的对应关系进行算子flink1.10版本StreamGraph生成过程分析
1、StreamGraph本质 本质就是按照用程序代码的执行顺序构建出来的用于向执行环境传输的流式图，并且可以支持可视化展示给用户的一种数据结构。 2、StreamGraph、StreamNode和StreamEdge的数据结构 StreamGraph构建DAG流图时，其核心是要维护好节点及节点之间的关系即可，关于这块主要是【源码】Flink 三层图结构——StreamGraph 生成前准备 Transformation
最近一直在看 StreamGraph 生成的源码，刚好有点思路，准备动手了发现，如果不说下 Transformation 后面的 StreamGraph 会差比较多意思，所以先做点铺垫。 ## Transformation Transformation 类是 Flink 转换算子的基类，实现类有下面这些 AbstractMultipleInputTransformation CoFeedback