lcriadof/hadoop
Hadoop (ARM64 y AMD64), ejemplo de ejecución con docker-compose
89
SO: ubuntu 23.10 (mantic)
arquitecturas soportadas: amd64, arm64
Hadoop 3.3.6
JDK 17.0.8
https://github.com/lcriadof/Simple-Hadoop-cluster-on-docker
fichero docker-compose.yml
version: '3.8'
services:
namenode:
image: lcriadof/hadoop:3.3.6_namenode
deploy:
mode: replicated
replicas: 1
hostname: namenode-master
ports:
- "9870:9870"
- "50030:50030"
networks:
- dock_net
datanode:
image: lcriadof/hadoop:3.3.6_datanode
deploy:
mode: replicated
networks:
- dock_net
networks:
dock_net:
PASOS para ejecutar:
1. Creamos la red
docker network create dock_net
2. Por ejemplo, lanzamos el cluster con 2 nodos de datos
docker-compose -f docker-compose.yml up -d --scale datanode=2
3. Verificamos que tenemos datanode
http://localhost:9870/
NOTA: en cualquier momento, en caliente, podemos ampliar el parámetro --scale datanode=2 por otro valor, por ejemplo docker-compose -f docker-compose.yml up -d --scale datanode=5
docker pull lcriadof/hadoop