Flink核心抽象三数据转换
作者:互联网
Transformation在Flink中被称为数据转换,Transformation面向Flink内核,DataStream面向开发者。
Transformation有两大类,物理Transformation和虚拟Transformation
Transformation是顶层的抽象,在所有物理的Transformation都是继承PhysicalTransformation
其他的类型的Transformation均为虚拟Transformation。
Transformation包含Flink运行时的重要参数
1、name
转换器的名字,主要用于Web UI的可视化
2、uid
用户指定的uid,在job重启时再次分配和之前相同的uid,可以持久保存状态
3、bufferTimeout
buffer超时时间
4、parallelism
并行度
5、id
和属性uid无关,生成方式基于静态累加器
public Transformation(String name, TypeInformation<T> outputType, int parallelism) { this.id = getNewNodeId
标签:转换,uid,Flink,Transformation,抽象,parallelism,id,name 来源: https://blog.csdn.net/zuodaoyong/article/details/121584526