数据库
首页 > 数据库> > SparkSQL-Rdd转化DataFrame-通过StructType为字段添加Schema

SparkSQL-Rdd转化DataFrame-通过StructType为字段添加Schema

作者:互联网

SparkSQL-Rdd转化DataFrame-通过StructType为字段添加Schema

开发环境

spark-2.1.0-bin-hadoop2.6

Rdd转换成DataFrame,为字段添加列信息

参数 nullable 说明:Indicates if values of this field can be null values

val schema = StructType(List(
  StructField("name", StringType, nullable = false),
  StructField("age", IntegerType, nullable = true),
  StructField("money", DoubleType, nullable = true),
  StructField("hobbies", DataTypes.createArrayType(StringType), nullable = true)
)
)

val flatMapDF = sparkSession.createDataFrame(flatMapRdd, schema)

特别注意

Array类型数据,需要通过 DataTypes.createArrayType(StringType) 生成相应 DateType类型数据,而不能使用ArrayType。否则会产生如下报错:

标签:StringType,StructType,StructField,nullable,DataFrame,Rdd
来源: https://blog.csdn.net/weixin_43376907/article/details/98981555