黑马程序员技术交流社区

标题: 【上海校区】大数据篇：集群 Spark的安装 [打印本页]

作者: 不二晨 时间: 2018-11-5 10:10
标题: 【上海校区】大数据篇：集群 Spark的安装
集群安装Spark

这里采用3台机器（节点）作为实例来演示如何搭建Spark集群，其中1台机器（节点）作为Master节点，另外两台机器（节点）作为Slave节点（即作为Worker节点），主机名分别为Slave1和Slave2。在Master节点机器上，访问Spark官方下载地址，按照如下图下载。

下载完成后，执行如下命令：

sudo tar -zxf spark-2.0.2-bin-without-hadoop.tgz -C /usr/local/
cd /usr/local
sudo mv ./spark-2.0.2-bin-without-hadoop/ ./spark
sudo chown -R hadoop ./spark
配置环境变量

在Mster节点主机的终端中执行如下命令：

vi ~/.bashrc
在.bashrc添加如下配置：

export SPARK_HOME=/usr/local/spark
export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin
执行如下命令使得配置立即生效：

source ~/.bashrc
Spark配置

在Master节点主机上进行如下操作：

配置slaves文件
将 slaves.template 拷贝到 slaves
cd /usr/local/spark/
cp ./conf/slaves.template ./conf/slaves
slaves文件设置Worker节点。编辑slaves内容,把默认内容localhost替换成如下内容：

slave1
slave2
配置spark-env.sh文件
将 spark-env.sh.template 拷贝到 spark-env.sh

cp ./conf/spark-env.sh.template ./conf/spark-env.sh
编辑spark-env.sh,添加如下内容：

export SPARK_DIST_CLASSPATH=$(/usr/local/hadoop/bin/hadoop classpath)
export HADOOP_CONF_DIR=/usr/local/hadoop/etc/hadoop
export SPARK_MASTER_IP=192.168.1.104
SPARK_MASTER_IP 指定 Spark 集群 Master 节点的 IP 地址；

配置好后，将Master主机上的/usr/local/spark文件夹复制到各个节点上。在Master主机上执行如下命令：

cd /usr/local/
tar -zcf ~/spark.master.tar.gz ./spark
cd ~

#将spark的tar包发送到slave上
scp ./spark.master.tar.gz slave01:/home/hadoop
scp ./spark.master.tar.gz slave02:/home/hadoop
在slave1,slave2节点上分别执行下面同样的操作：

sudo rm -rf /usr/local/spark/
sudo tar -zxf ~/spark.master.tar.gz -C /usr/local
sudo chown -R hadoop /usr/local/spark
启动Spark集群

启动Hadoop集群

启动Spark集群前，要先启动Hadoop集群。在Master节点主机上运行如下命令：

##启动dfs及yarn

cd /usr/local/hadoop/
sbin/start-all.sh
启动Spark集群

启动Master节点
在Master节点主机上运行如下命令：

cd /usr/local/spark/
sbin/start-master.sh
在Master节点上运行jps命令，可以看到多了个Master进程：

15093 Jps
14343 SecondaryNameNode
14121 NameNode
14891 Master
14509 ResourceManager
启动所有Slave节点，在Master节点主机上运行如下命令：
sbin/start-slaves.sh
分别在slave01、slave02节点上运行jps命令，可以看到多了个Worker进程

37553 DataNode
37684 NodeManager
37876 Worker
37924 Jps
在浏览器上查看Spark独立集群管理器的集群信息
在master主机上打开浏览器，访问http://master:8080,如下图：

关闭Spark集群

关闭Master节点
sbin/stop-master.sh
关闭Worker节点
sbin/stop-slaves.sh
关闭Hadoop集群
cd /usr/local/hadoop/
sbin/stop-all.sh

---------------------
【转载】
作者：MrChaoYunXiao
原文：https://blog.csdn.net/weixin_41297324/article/details/83721709

作者: 不二晨 时间: 2018-11-7 09:23

ヾ(◍°∇°◍)ﾉﾞ

作者: 梦缠绕的时候 时间: 2018-11-8 16:55

作者: 魔都黑马少年梦 时间: 2018-11-8 17:24

欢迎光临黑马程序员技术交流社区 (http://bbs.itheima.com/)

黑马程序员IT技术论坛 X3.2