spark學習筆記（3)---集合計算

統計個數，集合計算
val lines = List(“hello java hello python”,“hello scala”,“hello scala hello java hello python”)
//切分壓平
val words = lines.flatMap(.split(" "))
//把每個單詞生成一個一個的元組pair
val tuples = words.map((,1))
//以key進行分組
val grouped = tuples.groupBy(.1)
//統計value的長度
val sumed = grouped.mapValues(.size)
//排序
val sorted = sumed.toList.sortBy(._2).reverse
println(sorted)

标签：val,筆記,一個,計算,grouped,words,學習,spark,hello
来源： https://blog.csdn.net/JerryZhang1111/article/details/88821490