java – 如何获取Spark流中的当前批处理时间戳

如何在Spark流中获取当前批处理时间戳(DStream)？

我有一个火花流应用程序,输入数据将进行多次转换.

我需要在执行期间使用当前时间戳来验证输入数据中的时间戳.

如果我与当前时间进行比较,那么时间戳可能与每个RDD转换执行不同.

有没有办法获得时间戳,特定的Spark流微批处理已经开始或它属于哪个微批处理间隔？

解决方法:

dstream.foreachRDD((rdd, time)=> {
  // time is scheduler time for the batch job.it's interval was your window/slide length.
})

标签：java,apache-spark,spark-streaming
来源： https://codeday.me/bug/20190611/1220857.html