• 结论
• SparkContext
• 第三方集群模式

结论

SparkContext启动，根据setMaster设置的Url匹配运行模式。

SparkContext

// 根据设置的master字符串的内容进行匹配
master match {
      // local模式
      case "local" => ...
      ...
      // local[n] 和 local[*] 模式 n为thread数量
      case LOCAL_N_REGEX(threads)
      ...
      // local[N, maxRetries]
      case LOCAL_N_FAILURES_REGEX(threads, maxFailures)
      ...
      // spark:// Spark standalone 集群模式
      case SPARK_REGEX(sparkUrl)
      ...
      // Yarn Mesos K8s 集群模式
      case masterUrl =>
        ...
        try {
          // YarnClusterScheduler
          val scheduler = cm.createTaskScheduler(sc, masterUrl)
          // YarnClusterSchedulerBackend
          val backend = cm.createSchedulerBackend(sc, masterUrl, scheduler)

第三方集群模式

https://spark.apache.org/docs/latest/cluster-overview.html#cluster-manager-types

标签：SparkContext,...,模式,case,源码,master,Spark,local
来源： https://www.cnblogs.com/abc608088/p/16218964.html