Flink WaterMark

 

 

 

 

 

判定迟到时间：

 watermark在算子之间的传播：

 每个Operator上有对应的Event-time,这个其实是一个TimeService,这个TimeService标记出来当前算子的一个时钟。

watermark最好在Source Operator就进行设置，且最好Source Operator的并行度为1.

watermark的生成依赖于事件时间的更新(出现更大的事件时间)

watermark生成之后会随着数据(streamElement)一起通过上游的算子会发送给下游的算子，watermark会被当成一种特殊的事件，这个特殊事件是会伴随着整个数据处理流程，一直发送到下游的算子中，一直到更新最终的算子中

当source operator产生了watermark之后，发送给下游的算子之后，会更新算子的时钟。

标签：WaterMark,watermark,Flink,发送给,Source,TimeService,算子,Operator
来源： https://blog.csdn.net/m0_37651941/article/details/121385384