7.Spark SQL
作者：互联网
1.分析SparkSQL出现的原因，并简述SparkSQL的起源与发展。
->SparkSQL的前身Shark对于Hive的太多依赖（如采用Hive的语法解析器、查询优化器等等），制约了Spark的One Stack Rule Them All的既定方针，制约了Spark各个组件的相互集成，所以提出了SparkSQL项目。
->SparkSQL抛弃原有Shark的代码，汲取了Shark的一些优点，如内存列存储（In-Memory Columnar Storage）、Hive兼容性等，重新开发了SparkSQL代码；由于摆脱了对Hive的依赖性，SparkSQL无论在数据兼容、性能优化、组件扩展方面都得到了极大的提升。
->SparkSQL的出现，解决了对不同数据源和不同数据的操作，例如结构化和非结构化数据。还有可以支持融合关系查询和复杂分析算法。
2. 简述RDD 和DataFrame的联系与区别。
Spark RDD
->RDD是一种弹性分布式数据集，是一种只读分区数据。它是spark的基础数据结构，具有内存计算能力、数据容错性以及数据不可修改特性。
Spark Dataframe
->Dataframe也是一种不可修改的分布式数据集合，它可以按列查询数据，类似于关系数据库里面的表结构。可以对数据指定数据模式（schema）。
共同点
->RDD、DataFrame、Dataset全都是spark平台下的分布式弹性数据集，在处理超大型数据提供便利。
->都会根据spark的内存情况自动缓存运算，这样即使数据量很大，也不担心会内存溢出。
->都有惰性机制，在进行创建、转换，如map方法时，不会立即执行，只有在遇到Action如foreach时，三者才会开始遍历运算，极端情况下，如果代码里面有创建、转换，但是后面没有在Action中使用对应的结果，在执行时会被直接跳过。
不同点
->RDD不支持sparkSQL操作。
->RDD总是搭配spark mlib使用。
->DataFrame每一行的类型固定为Row，只有通过解析才能获取各个字段的值。
->DataFrame总是搭配spark ml使用。
->DataFrame支持一些特别方便的保存方式，比如保存成csv，可以带上表头，这样每一列的字段名一目了然。
3. DataFrame的创建与保存
PySpark-DataFrame创建：
spark.read.text(url)
spark.read.json(url)
spark.read.format("text").load("people.txt")
spark.read.format("json").load("people.json")
描述从不同文件类型生成DataFrame的区别。
->
用相同的txt或json文件，同时创建RDD，比较RDD与DataFrame的区别。
->
DataFrame的保存:
df.write.text(dir)
df.write.json(dri)
df.write.format("text").save(dir)
df.write.format("json").save(dir)
df.write.format("json").save(dir)
4. 选择题
标签：DataFrame,RDD,json,SparkSQL,SQL,Spark,数据,spark 来源： https://www.cnblogs.com/animabread/p/16197611.html