首页 > TAG信息列表 > dropDuplicates

算子

1、去重 (1)distinct 为无参,是所有字段的去重 (2)dropDuplicates含参数,可以指定列名为参数去重   2、columns算子 返回一个String类型的数组,返回值是列的名字集合   3、when算子 .withColumn("name", when(col("name").isNull, lit("否")).otherwise(lit("是")))