Spark RDD学习

RDD(弹性分布式数据集)是Spark的核心抽象。它是一组元素，在集群的节点之间进行分区，以便我们可以对其执行各种并行操作。

创建RDD的两种方式：

• 并行化驱动程序中的现有数据；
• 引用外部存储系统中的数据集。

并行化集合

要创建并行化集合，在驱动程序中现有的集合上调用SparkContext的parallelize方法。复制集合的每个元素以形成可以并行操作的分布式数据集。

%Spark
val info=Array(1,2,3,4)
val distInfo=sc.parallelize(info)
%操作分布式数据集
distinfo.reduce((a, b) => a + b)

外部数据集

在Spark中，可以从Hadoop支持的任何类型的存储源(如HDFS，Cassandra，HBase甚至本地文件系统)创建分布式数据集。Spark 支持文本文件(text files)，SequenceFiles 和其他 Hadoop InputFormat。

SparkContext的textFile方法可用于创建RDD的文本文件。此方法获取文件的URI(本地路径或hdfs://,s3n://等)并读取文件的数据，将文件读取成一个行集合。

 

 一旦创建完成，distFiile 就能做数据集操作。例如，我们可以用下面的方式使用 map 和 reduce 操作将所有行的长度相加：distFile.map(s => s.length).reduce((a, b) => a + b)。

RDD的两种操作：

• 转换
• 行动

转换：在Spark中，转换的作用是从现有数据集创建新数据集。转换是惰性的，因为它们仅在动作需要将结果返回到驱动程序时才计算。

• map(func) - 它返回一个新的分布式数据集， 该数据集是通过函数func传递源的每个元素而形成的。
• filter(func) - 它返回一个新数据集， 该数据集是通过选择函数func返回true的源元素而形成的。

• flatMap(func) - 每个输入项可以映射到零个或多个输出项， 因此函数func应该返回序列而不是单个项。
• mapPartitions(func) - 它类似于map，但是在RDD的每个分区(块)上单独运行， 因此当在类型T的RDD上运行时， func必须是Iterator <T> => Iterator <U>类型。
• mapPartitionsWithIndex(func) - 它类似于mapPartitions，它为func提供了一个表示分区索引的整数值，因此当在类型T的RDD上运行时，func必须是类型(Int，Iterator <T>)=> Iterator <U>。
• sample(withReplacement, fraction, seed) - 它使用给定的随机数生成器种子对数据的分数部分进行采样，有或没有替换。
• union(otherDataset) - 它返回一个新数据集，其中包含源数据集和参数中元素的并集。
• intersection(otherDataset) - 它返回一个新的RDD，其中包含源数据集和参数中的元素的交集。
• distinct([numPartitions])) - 它返回一个新数据集，其中包含源数据集的不同元素。
• groupByKey([numPartitions]) - 当在(K，V)对的数据集上调用时，它返回(K，Iterable)对的数据集。
• reduceByKey(func, [numPartitions]) - 当调用(K，V)对的数据集时，返回(K，V)对的数据集，其中使用给定的reduce函数func聚合每个键的值，该函数必须是类型(V，V)=>V。
• aggregateByKey(zeroValue)(seqOp, combOp, [numPartitions]) - 当调用(K，V)对的数据集时，返回(K，U)对的数据集，其中使用给定的组合函数和中性“零”值聚合每个键的值。
• sortByKey([ascending], [numPartitions]) - 它返回按键按升序或降序排序的键值对的数据集，如在布尔ascending参数中所指定。
• join(otherDataset, [numPartitions])-当调用类型(K，V)和(K，W)的数据集时，返回(K，(V，W))对的数据集以及每个键的所有元素对。通过leftOuterJoin，rightOuterJoin和fullOuterJoin支持外连接。
• cogroup(otherDataset, [numPartitions])-当调用类型(K，V)和(K，W)的数据集时，返回(K，(Iterable，Iterable))元组的数据集。此操作也称为groupWith。
• cartesian(otherDataset)-当调用类型为T和U的数据集时，返回(T，U)对的数据集(所有元素对)。
• pipe(command, [envVars])-通过shell命令管道RDD的每个分区，例如， 一个Perl或bash脚本。
• coalesce(numPartitions)-它将RDD中的分区数减少到numPartitions。
• repartition(numPartitions) -它随机重新调整RDD中的数据，以创建更多或更少的分区，并在它们之间进行平衡。
• repartitionAndSortWithinPartitions(partitioner) - 它根据给定的分区器对RDD进行重新分区，并在每个生成的分区中键对记录进行排序。

行动：在Spark中，操作的作用是在对数据集运行计算后将值返回给驱动程序。

• reduce(func)：它使用函数func(它接受两个参数并返回一个)来聚合数据集的元素。该函数应该是可交换的和关联的，以便可以并行正确计算。
• collect()：它将数据集的所有元素作为数组返回到驱动程序中。在过滤器或其他返回足够小的数据子集的操作之后，这通常很有用。
• count() ：它返回数据集中的元素数。
• first() 它返回数据集的第一个元素(类似于take(1))
• take(n) 它返回一个包含数据集的前n个元素的数组。
• takeSample(withReplacement, num, [seed]) 它返回一个数组，其中包含数据集的num个元素的随机样本，有或没有替换，可选地预先指定随机数生成器种子。
• takeOrdered(n, [ordering]) 它使用自然顺序或自定义比较器返回RDD的前n个元素。
• saveAsTextFile(path)：它用于将数据集的元素作为文本文件(或文本文件集)写入本地文件系统，HDFS或任何其他Hadoop支持的文件系统的给定目录中。
• saveAsSequenceFile(path)：它用于在本地文件系统，HDFS或任何其他Hadoop支持的文件系统中的给定路径中将数据集的元素编写为Hadoop SequenceFile。
• saveAsObjectFile(path)：它用于使用Java序列化以简单格式编写数据集的元素，然后可以使用SparkContext.objectFile()加载。
• countByKey()：它仅适用于类型(K，V)的RDD。因此，它返回(K，Int)对的散列映射与每个键的计数。
• foreach(func)：它在数据集的每个元素上运行函数func以获得副作用，例如更新累加器或与外部存储系统交互。

 

 

标签：返回,numPartitions,元素,学习,RDD,func,Spark,数据
来源： https://www.cnblogs.com/Ao0216/p/15840274.html