第五章_Spark核心编程_SparkConf&SparkContext

/*
* TODO 关于 SparkConf 的作用
*   1. spark的配置对象 用来初始化 Spark application 的配置信息
*   2. 用 SparkConf.set("key","value") 的方式来注入配置信息
*   3. 用 SparkConf对象 指定的配置信息,优先级是最高的(该对象的任何设置都会覆盖默认配置和系统属性)
*         SparkConf.set("key","value") > 外部配置信息 > 系统默认设置
*   4. 参数
*         是否 加载系统配置 和 classpath的配置 作为当前应用的配置,true是 false否
*
*
* TODO 关于 SparkContext 的作用
*   1. Spark 功能的主要入口类
*   2. 一个 SparkContext对象 表示 spark到集群的 连接对象
*   3. 可以用 SparkContext对象 在集群上 创建RDD accumulators broadcast
*   4. 每个JVM中 只能有一个活跃的 SparkContext对象,必须将现有对象 stop()才能创建新的 SparkContext对象
*
* TODO 关于 日志级别 的设置
*   方式1: 不设置,使用系统默认配置
*       Using Spark's default log4j profile: org/apache/spark/log4j-defaults.properties
*   方式2: 在工程 resources目录下添加 log4j.properties
*       内容可以参考 org/apache/spark/log4j-defaults.properties
*   方式3: 用 spark环境对象SparkContext 来指定(优先级是最高的)
*       SparkContext.setLogLevel("")
*       日志级别: ALL, DEBUG, ERROR, FATAL, INFO, OFF, TRACE, WARN
*
* TODO 关于 SparkUI
*
* */

标签：SparkContext,对象,TODO,配置,Spark,SparkConf,spark
来源： https://www.cnblogs.com/bajiaotai/p/16347854.html