Spark的安装大多比较麻烦,而Mac安装Spark非常简单,本文分三部分内容。
1. 安装JDK
2. 安装Spark
3. 简单测试 1. 安装JDK(1)进入官方下载页面
http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html (2)在下载列表里选择Mac OS X(这个版本傻瓜式安装。。。。),点Accept License Agreement , 然后就可以点击下载了 (3)下载完成后移动到你想存放的文件夹,然后双击安装就可以了。。。
打开终端,输入java -version 真的安装好了。。。。。 2. 安装Spark(1) 进入下载页面 http://spark.apache.org/downloads.html (2) 前3个下拉框选择合适的版本(一般选择最新的版本就行) (3) 在4中点击下载 spark-xxx.tgz , 移动到你想存放的文件夹 (4) 解压下载好的spark-xxx.tgz文件,安装完成。打开文件,内容如下: 安装好了。。。。。。为了之后使用方便,你可以把这个文件夹改个简单名字,如spark-bin 3. 简单测试(1) 打开终端,进入Spark的路径,如 (2) 输入./sbin/start-master.sh ,回车,这时候主机已经开始运行了,可以打开浏览器,输入http://localhost:8080 ,效果如下: 真的安装成功了。。。。。 (3)加Worker
在终端上command+n 打开一个新终端,进入相同路径,在新终端中输入 ./bin/spark-class org.apache.spark.deploy.worker.Worker spark://IP:PORT 注意,将Worker后的URL改为上图中的URL,也就是自己的主机地址。如 ./bin/spark-class org.apache.spark.deploy.worker.Worker
spark://chenbindeMacBook-Pro.local:7077 回车,刷新页面,在Workers下面多了一个worker,状态为ALIVE (4) 关掉worker
直接在新终端command+c , 刷新主机的Spark页面,worker已经DEAD了 (5)关掉主机 在终端输入 ./sbin/stop-master.sh ,刷新主机的Spark页面,已经空白了。 这就是Mac 安装Spark的简单教程,真的是简单。。。具体步骤都有配图,希望能给大家带来帮助。
|