环境装备

192.168.16.6 master
192.168.16.4 slave1
192.168.16.5 slave2

spark安装

在Master机器，上传spark安装包spark-2.4.3-bin-hadoop2.7.tgz，并将其解压到/home/spark 目录下（根据实际情况定）。

1
2
3
4
5
6
1#上传

2[root@master software]# rz -y

3#解压

4[root@master software]# tar -xzvf spark-2.4.3-bin-hadoop2.7.tgz -C /home/spark/

5

6

修改配置文件

1
2
3
1[root@master conf]#cp /home/spark/spark-2.4.3-bin-hadoop2.7/conf/spark-env.sh.template spark-env.sh

2[root@master conf]#cp /home/spark/spark-2.4.3-bin-hadoop2.7/conf/slaves.template slaves

3

在spark-env.sh文件中添加如下变量

1
2
3
4
5
1export JAVA_HOME=/java/jdk1.8.0_161

2export SCALA_HOME=/home/scala/scala-2.13.1

3export SPARK_MASTER_IP=192.168.16.6

4export SPARK_WORKER_MEMORY=1g

5

在slave添加如下配置 

1
2
3
4
1master

2slave1

3slave2

4

将master配置好的spark复制到slave1和slave2上

1
2
3
4
1[root@master conf]# scp -r /home/spark/ root@slave1:/home/

2[root@master conf]# scp -r /home/spark/ root@slave2:/home/

3

4

启动spark

1
2
3
4
1[root@master spark-2.4.3-bin-hadoop2.7]# cd /home/spark/spark-2.4.3-bin-hadoop2.7/sbin/

2

3[root@master sbin]# ./start-all.sh 

4

验证spark集群

http://IP:8080/