其他分享
首页 > 其他分享> > Structured Streaming watermark总结

Structured Streaming watermark总结

作者:互联网

博客园首发,转载请注明地址:https://www.cnblogs.com/tzxxh/p/15545264.html

 上图来自官方文档中对于watermark的描述。

刚开始以为只要数据的event_time大于watermark时间,就会被处理,小于watermark就不会被处理。实际测试发现并不是这样。

下面开始验证:

数据:{"timestamp":"2021-11-10T17:18:00.164+8","queryText":"aaa"}

处理结果为:

 

再次增加数据:

{"timestamp":"2021-11-10T16:18:00.164+8","queryText":"bbb"}
{"timestamp":"2021-11-10T17:01:00.164+8","queryText":"ccc"}
{"timestamp":"2021-11-10T17:06:00.164+8","queryText":"ddd"}

处理结果为:

 

 

 问题来了,为什么上一个batch的max event_time已经是17:18了,watermark阈值设置10分钟,则watermark当前值为17:08。那为何17:06的数据比watermark要早还会被处理呢。

实际是这样:

17:06的数据根据时间窗口设置,会落入 17:03-17:09 和 17:06-17:12窗口。而watermark当前为17:08,在这两个窗口之内,所以会正常计算。

由此得出结论:使用watermark时,数据是否会被计算,是根据数据落入的时间窗口包不包含watermark决定的。watermark之后的数据肯定会被计算,watermark之前的可能会被计算

因此官方文档有这句话:

 

标签:11,06,17,watermark,timestamp,Structured,Streaming,2021
来源: https://www.cnblogs.com/tzxxh/p/15545264.html