Pandas中的DataFrame和pyspark中的DataFrame互相转换

一、Pyspark.sql.DataFrame与pandas.DataFrame之间的相互转换：

# pandas转spark
values = pandas_df.values.tolist()
columns = pandas_df.columns.tolist()
spark_df = spark.createDataFrame(values, columns)
 
# spark转pandas
pandas_df = spark_df.toPandas()

二、Spark和pandas的DataFrame区别：

标签：pyspark,df,DataFrame,Pandas,values,spark,pandas,columns
来源： https://www.cnblogs.com/Ao0216/p/16337535.html