Spark-安装配置：伪分布式安装和全分布式安装

2020-03-10

Spark

字数统计: 321 | 阅读时长≈ 1 分钟

0.准备工作：安装JDK，配置主机名，免密登陆

一.伪分布模式搭建：

1.解压

1	tar -zxvf spark-2.1.0-bin-hadoop2.7.tgz -C /opt/module

2.修改配置文件：

(1)修改spark-env.sh

重命名(拷贝)：

1
2
3

cd /opt/module/spark-2.1.0-bin-hadoop2.7/conf

cp spark-env.sh.template spark-env.sh

修改：

1	vi spark-env.sh

修改内容：

export JAVA_HOME=/opt/module/jdk1.8.0_144 
export SPARK_MASTER_HOST=hadoop1
export SPARK_MASTER_PORT=7077

//下面的可以不写，默认
export SPARK_WORKER_CORES=1
export SPARK_WORKER_MEMORY=1024m

(2)修改slaves

1	cp slaves.template slaves

修改：

1
2
3

cd /opt/module/spark-2.1.0-bin-hadoop2.7/conf

vi slaves

修改内容：

hadoop1

二.全分布模式安装：

1.解压

1	tar -zxvf spark-2.1.0-bin-hadoop2.7.tgz -C /opt/module

2.修改配置文件：

(1)修改spark-env.sh

重命名(拷贝)：

1
2
3

cd /opt/module/spark-2.1.0-bin-hadoop2.7/conf

cp spark-env.sh.template spark-env.sh

修改：

1	vi spark-env.sh

修改内容：

export JAVA_HOME=/opt/module/jdk1.8.0_144 
export SPARK_MASTER_HOST=hadoop1
export SPARK_MASTER_PORT=7077

//下面的可以不写，默认
export SPARK_WORKER_CORES=1
export SPARK_WORKER_MEMORY=1024m

(2)修改slaves

1	cp slaves.template slaves

修改：

vi slaves

修改内容：

1 2	hadoop2 hadoop3

3.发送到另外两台服务器：

1
2
3

scp -r spark-2.1.0-bin-hadoop2.7/ root@hadoop2:/opt/module/

scp -r spark-2.1.0-bin-hadoop2.7/ root@hadoop3:/opt/module/

4.启动：

hadoop1:

1
2
3

cd /opt/module/spark-2.1.0-bin-hadoop2.7

sbin/start-all.sh

hadoop1
hadoop2
hadoop3

5.验证：

浏览器输入hadoop1IP地址：192.168.1.121:8080

打赏

版权声明： 本博客所有文章除特别声明外，著作权归作者所有。转载请注明出处！