黑马程序员技术交流社区

标题: 【上海校区】--Docker实战--(一) [打印本页]

---

作者: xiaozuoquan    时间: 2018-11-12 09:41
标题: 【上海校区】--Docker实战--(一)


一、在Docker容器中运行Hadoop集群

3个节点的hadoop集群搭建

1. pull docker image

[AppleScript] 纯文本查看 复制代码

sudo docker pull kiwenlau/hadoop:1.0

2. clone github repository

[AppleScript] 纯文本查看 复制代码

git clone https://github.com/kiwenlau/hadoop-cluster-docker

3. create hadoop network

[AppleScript] 纯文本查看 复制代码

sudo docker network create --driver=bridge hadoop

4. start container

[AppleScript] 纯文本查看 复制代码

cd hadoop-cluster-docker

sudo ./start-container.sh

输出:

start hadoop-master container...
start hadoop-slave1 container...

start hadoop-slave2 container...

root@hadoop-master:~#

• 启动3个容器，包含1个主节点和2个从节点
• 你将进入hadoop-master容器的/ root目录
  

5. start hadoop

[AppleScript] 纯文本查看 复制代码

./start-hadoop.sh

6. run wordcount

[AppleScript] 纯文本查看 复制代码

./run-wordcount.sh

输出

input file1.txt:

Hello Hadoop

input file2.txt:
Hello Docker

wordcount output:

Docker    1

Hadoop    1

Hello    2
2、任意大小的Hadoop集群


2.1. rebuild docker image

[AppleScript] 纯文本查看 复制代码

sudo ./resize-cluster.sh 5

指定参数> 1：2,3 ..

这个脚本只是使用不同的从属文件重建hadoop映像，这样可以强制所有从属节点的名称


2.1. start container

[AppleScript] 纯文本查看 复制代码

sudo ./start-container.sh 5

• 使用与步骤1相同的参数
  

hadoop-cluster-docker-master.zip (35.55 KB, 下载次数: 70)

2018-11-12 12:43 上传

点击文件名下载附件

---

作者: jinzengwei    时间: 2018-11-13 09:23
沙发沙发

---

作者: 不二晨    时间: 2018-11-14 15:45
~(｡≧3≦)ﾉ⌒☆

---

作者: 魔都黑马少年梦    时间: 2018-11-15 16:51

---

欢迎光临 黑马程序员技术交流社区 (http://bbs.itheima.com/)

黑马程序员IT技术论坛 X3.2