其他分享
首页 > 其他分享> > 191 DStream概述

191 DStream概述

作者:互联网

Discretized Stream是Spark Streaming的基础抽象,代表持续性的数据流和经过各种Spark原语操作后的结果数据流。在内部实现上,DStream是一系列连续的RDD来表示。每个RDD含有一段时间间隔内的数据,如下图:
在这里插入图片描述

对数据的操作也是按照RDD为单位来进行的
在这里插入图片描述
计算过程由Spark engine来完成
在这里插入图片描述

 

标签:engine,191,RDD,概述,数据流,Spark,DStream
来源: https://blog.51cto.com/u_15294985/2997560