Ubuntu:18.04
Java:1.8.0
Hadoop:2.8.5
본 이미지는 hadoop filesystem의 namenode 및 datanode로 활용할 수 있습니다.
모든 환경변수는 datanode를 겸하는 namenode 1개와 datanode 2개를 사용한다고 가정하고 설정했습니다.
1) namenode 용도로 컨테이너를 생성할 경우, 아래의 명령어를 이용하세요.
docker run -it -h master --name master -p 50070:50070 --add-host slave1:172.17.0.3 --add-host slave2:172.17.0.4 stnamjef/hadoop:1.0
(참고로 --add-host 의 ip 주소는 datanode로 활용할 컨테이너의 ip 주소입니다. 작업 환경에 따라 다를 수 있으니 반드시 확인하세요.
docker inspect id_of_your_container 명령어로 확인할 수 있습니다.)
2) datanode 용도로 컨테이너를 생성할 경우, 아래의 명령어를 이용하세요.
docker run -it -h slave1 --name slave1 --link master:master stnamjef/hadoop:1.0
docker run -it -h slave2 --name slave2 --link master:master stnamjef/hadoop:1.0
3) 세 개의 컨테이너(master, slave1, slave2)가 모두 동작중이면, master container에 attach 합니다.
docker attach master
4) 모든 node들을 시작합니다. 명령어는 아래와 같습니다.
start-dfs.sh
5) 웹 브라우저에서 localhost:50070 으로 namenode(master container)에 접속할 수 있습니다.
Content type
Image
Digest
Size
693.8 MB
Last updated
almost 7 years ago
docker pull stnamjef/hadoop:1.1