xiaofeng68/hadoop repository overview

一. 3节点Hadoop集群搭建步骤

1. 下载Docker镜像 sudo docker pull kiwenlau/hadoop:1.0
2. 下载GitHub仓库 git clone https://github.com/kiwenlau/hadoop-cluster-docker⁠
3. 创建Hadoop网络 sudo docker network create --driver=bridge hadoop
4. 运行Docker容器 cd hadoop-cluster-docker ./start-container.sh 运行结果

start hadoop-master container... start hadoop-slave1 container... start hadoop-slave2 container... root@hadoop-master:~# 启动了3个容器，1个master, 2个slave 运行后就进入了hadoop-master容器的/root目录 5. 启动hadoop ./start-hadoop.sh 6. 运行wordcount ./run-wordcount.sh 运行结果

input file1.txt: Hello Hadoop input file2.txt: Hello Docker wordcount output: Docker 1 Hadoop 1 Hello 2 Hadoop网页管理地址:

NameNode: http://192.168.59.1:50070/⁠ ResourceManager: http://192.168.59.1:8088/⁠ 192.168.59.1为运行容器的主机的IP。

二. N节点Hadoop集群搭建步骤

1. 准备 参考第二部分1~3：下载Docker镜像，下载GitHub仓库，以及创建Hadoop网络
2. 重新构建Docker镜像 ./resize-cluster.sh 5 可以指定任意N(N>1)
3. 启动Docker容器 ./start-container.sh 5 与第2步中的N保持一致。
4. 运行Hadoop 参考第二部分5~6：启动Hadoop，并运行wordcount。