Sign inSign up

stnamjef/hadoop

By stnamjef

Updated almost 7 years ago

Image
0

150

stnamjef/hadoop repository overview

1. 버전

Ubuntu:18.04
Java:1.8.0
Hadoop:2.8.5

2. 컨테이너 생성 방법

본 이미지는 hadoop filesystem의 namenode 및 datanode로 활용할 수 있습니다.
모든 환경변수는 datanode를 겸하는 namenode 1개datanode 2개를 사용한다고 가정하고 설정했습니다.

1) namenode 용도로 컨테이너를 생성할 경우, 아래의 명령어를 이용하세요.

    docker run -it -h master --name master -p 50070:50070 --add-host slave1:172.17.0.3 --add-host slave2:172.17.0.4 stnamjef/hadoop:1.0 
    
    (참고로 --add-host 의 ip 주소는 datanode로 활용할 컨테이너의 ip 주소입니다. 작업 환경에 따라 다를 수 있으니 반드시 확인하세요.
     docker inspect id_of_your_container 명령어로 확인할 수 있습니다.)

2) datanode 용도로 컨테이너를 생성할 경우, 아래의 명령어를 이용하세요.

    docker run -it -h slave1 --name slave1 --link master:master stnamjef/hadoop:1.0
    docker run -it -h slave2 --name slave2 --link master:master stnamjef/hadoop:1.0 

3) 세 개의 컨테이너(master, slave1, slave2)가 모두 동작중이면, master container에 attach 합니다.

    docker attach master

4) 모든 node들을 시작합니다. 명령어는 아래와 같습니다.

    start-dfs.sh

5) 웹 브라우저에서 localhost:50070 으로 namenode(master container)에 접속할 수 있습니다.

Tag summary

Content type

Image

Digest

Size

693.8 MB

Last updated

almost 7 years ago

docker pull stnamjef/hadoop:1.1