Spark期末复习--SparkSQL

Spark SQL是由DataFrame派生出来的，通过三步创建使用

• 创建DataFrame
• 将DataFrame注册成临时表
• 使用临时表进行查询统计

使用RDD创建DataFrame

from pyspark.sql import SparkSession
sqlContext = SparkSession.builder.getOrCreate()

定义DataFrame的每一个字段名和数据类型

from pyspark.sql import Row
saleRows = salesRDD.map(lambda x:Row(
字段名=p[]))

使用sqlContext.createDataFrame创建DataFrame

sale_df = sqlContext.createDataFrame(saleRows)
sale_df.printSchema()

注册临时表

sale_df.registerTempTable('sale_table')

用Spark SQL查看项数

sqlContext.sql('select count(*) counts from sale_table').show()

查看数据

sqlContext.sql('select * from sale_table').show()

标签：--,sale,DataFrame,SparkSQL,sql,table,Spark,sqlContext
来源： https://blog.csdn.net/Zsusan7/article/details/122005525