lcriadof/hadoop

By lcriadof

Updated over 1 year ago

Hadoop (ARM64 y AMD64), ejemplo de ejecución con docker-compose

Image
Data Science
Databases & Storage

89

[3.3.6_base]: esta imagen es base para construir datanode y namenode

           SO: ubuntu 23.10 (mantic)
           arquitecturas soportadas: amd64, arm64
           Hadoop 3.3.6
           JDK 17.0.8

https://github.com/lcriadof/Simple-Hadoop-cluster-on-docker

Ejemplo de ejecución con docker-compose

fichero docker-compose.yml

     version: '3.8'
     services:
       namenode:
         image: lcriadof/hadoop:3.3.6_namenode
         deploy:
           mode: replicated
           replicas: 1
         hostname: namenode-master
         ports:
           - "9870:9870"
           - "50030:50030"
         networks:
           - dock_net
     
       datanode:
         image: lcriadof/hadoop:3.3.6_datanode
         deploy:
           mode: replicated
         networks:
           - dock_net
     
     networks:
       dock_net:

PASOS para ejecutar:

     1. Creamos la red
         docker network create dock_net

     2. Por ejemplo, lanzamos el cluster con 2 nodos de datos
         docker-compose -f docker-compose.yml up -d --scale datanode=2

     3. Verificamos que tenemos datanode
          http://localhost:9870/

NOTA: en cualquier momento, en caliente, podemos ampliar el parámetro --scale datanode=2 por otro valor, por ejemplo docker-compose -f docker-compose.yml up -d --scale datanode=5

Docker Pull Command

docker pull lcriadof/hadoop