黑马程序员技术交流社区

标题: [上海校区]Spark集群安装部署 [打印本页]

作者: JackieZhu 时间: 2018-8-21 10:05
标题: [上海校区]Spark集群安装部署
第一章简介
Apache Spark是一个用于大规模数据处理的统一分析引擎,是快如闪电的统一分析引擎.Spark是UC Berkeley AMP lab(加州大学伯克利分校的AMP实验室)所开源的类似于Hadoop MapReduce的通用并行框架.它有Hadoop MapReduce所具有的优点,不同是,Spark的输出结果可以保存在内存中,从而不再需要读写HDFS.但是需要注意的是Spark仅仅是Hadoop MapReduce的替代方案,不能全部替代Hadoop生态系统.今天我来带领大学完成一个Spark集群的安装和部署.

第二章 Spark集群安装部署

2.1 下载Spark安装包
下载Spark安装包地址:http://spark.apache.org/downloads.html

2.2 规划安装目录

目录名称

说明

/opt/modules

主要是用来安装各种组件

/opt/jars

放置我们编写的一个jar包

/opt/datas

放置一些数据文件

/opt/softwares

放置各种组件的安装包

2.3 解压安装包
tar -zxvf spark-2.2.0-bin-hadoop2.7.tgz -C /opt/modules/
执行上述命令将压缩包进行解压,并对解压后的文件夹进行冲命名
mv spark-2.2.0-bin-hadoop2.7/ spark-2.2.0

2.4 修改配置文件

2.4.1 修改spark-env.sh

[Shell] 纯文本查看 复制代码

#设置JAVA_HOME目录

export JAVA_HOME=/opt/modules/jdk1.8.0_144

#设置SCALA_HOME目录

export SCALA_HOME=/opt/modules/scala-2.11.8

#设置SPARK主机的地址

export SPARK_MASTER_HOST=spark-node01.itheima.com

#设置SPARK主机的端口地址

export SPARK_MASTER_PORT=7077

#设置worker节点的内存大小

export SPARK_WORKER_MEMORY=1g

#设置HDFS文件系统的配置文件的位置

export HADOOP_CONF_DIR=/opt/modules/hadoop-2.7.4/etc/hadoop

2.4.2 修改slaves配置文件
#配置从节点的地址
spark-node02.itheima.com
spark-node03.itheima.com

2.4.3 配置Spark环境变量
在/etc/profile这个配置文件下添加如下内容

[Bash shell] 纯文本查看 复制代码

#配置Spark环境变量

export SPARK_HOME=/opt/modules/spark-2.2.0

export PATH=$SPARK_HOME/bin:$PATH

export SPARK_HOME PATH

2.5 将Spark安装包发送到其他节点上去

[Bash shell] 纯文本查看 复制代码

#拷贝spark安装目录道node02机器上

scp -r spark-2.2.0/ spark-node02.itheima.com:$PWD

#拷贝spark安装目录到node03机器上

scp -r spark-2.2.0/ spark-node03.itheima.com:$PWD

#拷贝/etc/profile至node02机器上

scp /etc/profile spark-node02.itheima.com:/etc/

#拷贝/etc/profile至node03机器上

scp /etc/profile spark-node03.itheima.com:/etc/

2.6 启动Spark集群

在主节点上启动Spark,进入$SPARK_HOME目录,执行如下命令
./sbin/start-all.sh
2.7 验证Spark集群是否启动成功
2.7.1 使用jps命令查看进程
如果在节点1有master进程,在节点2和节点3上有worker进程,说明Spark集群启动成功

2.7.2 访问Spark集群的WEB UI界面,查看各个节点状态
http://spark-node01.itheima.com:8080/

至此,Spark集群安装成功

spark集群节点2.png (3.66 KB, 下载次数: 26)

作者: 梦缠绕的时候 时间: 2018-8-21 16:19

作者: 不二晨 时间: 2018-8-21 16:30
加油加油

作者: 小影姐姐 时间: 2018-8-23 10:31
66666666

欢迎光临黑马程序员技术交流社区 (http://bbs.itheima.com/)

黑马程序员IT技术论坛 X3.2