编程语言
首页 > 编程语言> > 【Spark】Spark常用方法总结1-创建编程入口(Python版本)

【Spark】Spark常用方法总结1-创建编程入口(Python版本)

作者:互联网

前言

今天有时间,将自己的笔记分享出来,方便同僚查阅。不断详细与更新中。为了方便,例子都是以Python写的,后续也会有其他语言的版本。

创建编程入口

SparkContext入口

from pyspark import SparkConf, SparkContext

if __name__ == '__main__':
    conf = SparkConf().setAppName("test").setMaster("local")
    sc = SparkContext(conf=conf)
    rdd1 = sc.parallelize([1, 2, 3, 4, 5])
    rdd2 = rdd1.map(lambda x: x + 1)
    print(rdd2.collect())

SparkSession入口

from pyspark.sql import SparkSession, DataFrame

if __name__ == '__main__':
    spark: SparkSession = SparkSession.builder
                              .appName('test')
                              .master('local')
                              .enableHiveSupport()
                              .getOrCreate()
    # 创建list的list
    lists = [['a', 1], ['b', 2]]
    # 构建具有默认生成的列_1、_2的DataFrame
    dataframe: DataFrame = spark.createDataFrame(lists)
    dataframe.show()

SparkConext和SparkSession的关系

context是session的一个属性

spark: SparkSession = SparkSession.builder.appName('test').master('local').enableHiveSupport().getOrCreate()
sc: SparkContext = spark.sparkContext

DataFrame和RDD的关系

DataFrame是严格的表格关系
RDD是相对松散的关系(其中pairRDD稍微严格一点, 所以有一些特殊的操作)

RDD转dataFrame

dataframe = spark.createDataFrame(rdd, schema=None, samplingRatio=None)

dataFrame转RDD

dataframe = spark.createDataFrame([Row(col1='a', col2=1), Row(col1='b', col2=2)])
rdd = dataframe.rdd

SparkStreaming入口

spark = SparkSession.builder.appName('test').master('local[*]').getOrCreate()
ss = StreamingContext(spark.sparkContext, 10)
refbit 发布了6 篇原创文章 · 获赞 0 · 访问量 140 私信 关注

标签:__,SparkContext,Python,SparkSession,编程,DataFrame,dataframe,Spark,spark
来源: https://blog.csdn.net/refbit/article/details/104109002