其他分享
首页 > 其他分享> > spark安装配置

spark安装配置

作者:互联网

(一)安装Spark
1.下载安装包
在这里插入图片描述

2.解压安装包
解压安装包spark-2.1.0-bin-without-hadoop.tgz至路径 /opt
在这里插入图片描述
在这里插入图片描述

$ sudo mv ./spark-2.1.0-bin-without-hadoop/ ./spark # 更改文件夹名
在这里插入图片描述

3.修改配置文件
配置Spark 的classpath
cp ./conf/spark-env.sh.template ./conf/spark-env.sh #拷贝配置文件
在这里插入图片描述

使用vim编辑器打开spark-env.sh文件进行编辑,添加配置信息,在文件最后面加上如下一行内容:
在这里插入图片描述

保存配置文件后,就可以启动、运行Spark了
若需要使用HDFS中的文件,则在使用Spark前需要启动Hadoop
4.启动Spark
在这里插入图片描述

运行计算测试
在这里插入图片描述

5.运行实例
运行spark自带的实例SparkPi,可以验证Spark是否安装成功
在这里插入图片描述

在这里插入图片描述

使用grep命令过滤:
在这里插入图片描述

(二)安装sbt

sbt是一款Spark用来对scala编写程序进行打包的工具,Spark 中没有自带 sbt,需要下载安装
1.下载并解压安装包
在这里插入图片描述

下载sbt安装包以后,执行如下命令拷贝至 /opt/sbt 中:
在这里插入图片描述

2.接着在 /opt/sbt 中创建 sbt 脚本(vim ./sbt),添加如下内容:
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

3.授权并查看sbt版本

在这里插入图片描述
在这里插入图片描述

4.打包代码
请在./sparkapp 中新建文件 simple.sbt(vim ./sparkapp/simple.sbt),添加内容如下,声明该独立应用程序的信息以及与 Spark 的依赖关系:
在这里插入图片描述

为保证 sbt 能正常运行,先执行如下命令检查整个应用程序的文件结构:
在这里插入图片描述

接着,我们就可以通过如下代码将整个应用程序打包成 JAR(首次运行同样需要下载依赖包 ):
在这里插入图片描述

打包成功的话,会输出类似如下信息:
在这里插入图片描述

5.运行代码
在这里插入图片描述

运行结果
在这里插入图片描述

标签:sbt,安装,配置,如下,spark,安装包,Spark,运行
来源: https://blog.csdn.net/Yurken/article/details/120942027