首页 > TAG信息列表 > JobGraph
五、Flink的一些重要概念
1.程序与数据流 （DataFlow） 所有的Flink程序都是由三部分组成: Source Transformation 和 Sink（输入、转换、输出） Source负责读取数据源，Transformation利用各种算子进行处理加工，Sink负责输出 在运行时，Flink上运行的程序会被映射成“逻辑数据流”（Dataflows），它包含了这三部分 每一个datFlink到底是怎么把你的程序抽象的？
导读： 大家好我是胖子，我想我们大家都知道Flink是有状态的实时计算引擎，很多人不理解一个计算引擎应该怎么做呢，其实这就涉及到了Flink的核心，也就是它的应用程序抽象，我们都知道Flink会将我们编写的程序来进行转换成一个图，接着会进行优化，以及转换成一些可执行的图。可是你真的认真Flink执行计划第三层——JobGraph
《Flink执行计划第一层——StreamTransformation》 构造了列表+链表的结构； 《Flink执行计划第二层——StreamGraph》 转化第一层为图结构； 接下来，就该转化 StreamGraph 为 JobGraph 了。StreamGraph 继承了抽象类 StreamingPlan 并实现了 getJobGraph 方法： /** * Gets the assemblFlink源码解读(二)：JobGraph源码解读
目录 JobGraph源码解读 JobGraph生成过程 入口函数 createJobGraph函数 参考 JobGraph源码解读 上回说到，StreamGraph的源码其中是在客户端生成，并且是生成Node节点和Edge，主要是通过StreamAPI生成，表示拓扑结构，这次给大家讲讲JobGraph的生成(以Yarn集群模式)。 首先，JobGraph是基于FLINK基础（150）: RUNTIME（2）Flink on Yarn/K8s 原理剖析及实践(1)简介 Standalone
作者：周凯波（宝牛） 阿里巴巴技术专家 1 Flink 架构概览 1.1 Flink 架构概览 -Job 用户通过 DataStream API、DataSet API、SQL 和 Table API 编写 Flink 任务，它会生成一个 JobGraph。JobGraph 是由 source、map()、keyBy()/window()/apply() 和 Sink 等算子组成的。当 JobGraflink的执行原理猜想
一，flink的架构，flink的组件和各自的作用 client：根据job生成流图StreamGraph，优化流图生成Job图JobGraph，在这个过程中，会将一些算子合并组成operator chain，提交Job到集群。JobManager：接收Job，使用Job Master将JobGraph转换为ExecutionGraph，向ResouceManager申请资源，根据Execution[官方Flink进阶笔记 ] 六、Flink 作业执行深度解析
------------------------- 一 .Flink 四层转化流程1.1. Program 到 StreamGraph 的转化1.2. StreamGraph 到 JobGraph 的转化1.3. JobGraph 到 ExexcutionGraph 以及物理执行计划 二 .Flink Job 执行流程2.1. Flink On Yarn 模式2.1.1.Fink on Yarn 的缺陷2.1.2.引入 Dispflink：JobGraph生成过程分析
1、JobGraph是由StreamGraph转换而来，当client将StreamGraph提交后，job启动前会先完成转换，统一的转换入口如下： 2、StreamingJobGraphGenerator类 StreamingJobGraphGenerator的职责就是将StreamGraph转换成JobGraph，在转换的过程中要根据StreamGraph中的节点及边的对应关系进行算子