01-Spark安装

# Spark 快速入门指南 – Spark 安装与基础使用

## 准备工作

需要安装JDK 本教程使用的JDK1.8，可参考[JDK安装](/blog/post/bigdata/JDK安装)

## 安装 Spark

官网下载地址：<http://spark.apache.org/downloads.html>
> `spark-x.x.x-bin-hadoopXX.tgz` 版本的spark可以不安装Hadoop
> 本实验由于已安装过Hadoop,则选择`spark-2.4.8-bin-without-hadoop.tgz`版安装

对于`spark-2.4.8-bin-without-hadoop.tgz`版spark，需要预先装Hadoop, Hadoop安装方法可参考[Hadoop安装教程](/blog/post/bigdata/1-Hadoop安装教程)

本教程选择的是`spark-2.4.8-bin-without-hadoop.tgz`版spark, [百度网盘](https://pan.baidu.com/s/1hPz3MhLzKel3ri25Ct-nrA)
提取码：cjwz

将下载后的`spark-2.4.8-bin-without-hadoop.tgz` 保存至 /opt/software

```bash
nbu@ecs:~$ cd /opt/software
nbu@ecs:/opt/software$ sudo tar -zxf spark-2.4.8-bin-without-hadoop.tgz -C /usr/local
nbu@ecs:/opt/software$ cd /usr/local
nbu@ecs:/usr/local$ sudo mv ./spark-2.4.8-bin-without-hadoop/ ./spark
nbu@ecs:/usr/local$ sudo chown -R nbu:nbu ./spark        
```
# Heading
由于本教程使用了without-hadoop版Spark,需要在 /usr/local/spark/conf/spark-env.sh 中修改 Spark 的 Classpath，执行如下命令拷贝一个配置文件：

```bash
nbu@ecs:/usr/local$ cd /usr/local/spark
nbu@ecs:/usr/local/spark$ cp ./conf/spark-env.sh.template ./conf/spark-env.sh
```

编辑 ./conf/spark-env.sh（`vim ./conf/spark-env.sh`） ，在最后面加上如下一行：

```bash
export SPARK_DIST_CLASSPATH=$(/usr/local/hadoop/bin/hadoop classpath)
```

保存后，Spark 就可以启动、运行了。

## 运行 Spark 示例

但如果使用 Spark 过程中没用到 HDFS，不启动 Hadoop 也是可以的。

在/usr/local/spark/examples/src/main 目录下有一些 Spark 的示例程序，有 Scala、Java、Python、R 等语言的版本。我们可以先运行一个示例程序 SparkPi（即计算 π 的近似值），执行如下命令：

```bash
nbu@ecs:/usr/local/spark$ ./bin/run-example SparkPi
```

执行时会输出非常多的运行信息，输出结果不容易找到，可以通过 `grep` 命令进行过滤（命令中的 `2>&1` 可以将所有的信息都输出到 stdout 中，否则由于输出日志的性质，还是会输出到屏幕中）：

```bash
nbu@ecs:/usr/local/spark$ ./bin/run-example SparkPi 2>&1 | grep "Pi is roughly"
```

> 2>&1是将输出到标准出错处理的信息,发送到标准输出中。

过滤后的运行结果如下图所示，可以得到 π 的 5 位小数近似值 ：

![](https://hexo-img.obs.cn-east-3.myhuaweicloud.com/img/202210301357138.png)

Python 版本的 SparkPi 则需要通过 spark-submit 运行：

```bash
 $ ./bin/spark-submit examples/src/main/python/pi.py  2>&1 | grep "Pi is roughly"
```
结果如下：
![title](/api/file/getImage?fileId=635e132f98819dfd8500002f)

> 若python命令不存在，出现'Exception in thread "main" java.io.IOException: Cannot ru                            n program "python": error=2, No such file or directory'，可以尝试：
>```bash
>nbu@ecs:/usr/local/spark$ sudo cp /usr/bin/python3 /usr/bin/python
>```

大数据学习

导航

最近发表

友情链接