spark(五)-----广播变量

1.广播变量是什么
普通变量每个任务都会得到这些变量的一份副本，广播变量是只读变量，打破了这一限制
2.使用
调用要使用.value来调用

object spark03 {
  def main(args: Array[String]): Unit = {
    val conf = new SparkConf();
    conf.setAppName("broadcast")
    conf.setMaster("local")
    val list=List("hello hadoop")
    val context: SparkContext = new SparkContext(conf)
    val value: RDD[String] = context.textFile("D:\\BigData\\spark\\filterWC\\src\\main\\data\\word")
    val broadcast: Broadcast[List[String]] = context.broadcast(list)
    value.filter(x=>broadcast.value.contains(x)).foreach(println)
  }
}

标签：context,变量,val,value,broadcast,广播,-----,conf,spark
来源： https://blog.csdn.net/weixin_52188717/article/details/121332032