首页 > TAG信息列表 > JavaPairRDD

spark中迭代器的使用(求最大或最小)

groupbykey import java.util.Arrays; import java.util.List; import org.apache.spark.SparkConf; import org.apache.spark.api.java.JavaPairRDD; import org.apache.spark.api.java.JavaSparkContext; import jersey.repackaged.com.google.common.collect.Lists; impo

spark学习(五)Java版RDD基本的基本操作

1.map算子 private static void map() { //创建SparkConf SparkConf conf = new SparkConf() .setAppName("map") .setMaster("local"); //创建JavasparkContext JavaSparkContext sc =

spark Transformations算子

在java中,RDD分为javaRDDs和javaPairRDDs。下面分两大类来进行。 都必须要进行的一步。 SparkConf conf = new SparkConf().setMaster("local").setAppName("test");JavaSparkContext sc = new JavaSparkContext(conf);    一。javaRDDs 1 String[] ayys = {"a"