Public Repository

Last pushed: 5 months ago
Short Description
cluster con apache spark 2.1 y centos 7
Full Description

Instalación

1- crea interfaz de red virtual para los contenedores llamada "docker-net" desde consola con el siguiente comando.

sudo docker network create --driver=bridge --subnet=192.168.0.0/24 --gateway=192.168.0.1 docker-net

Nota: para eliminar la interfaz virtual en caso de error
sudo docker network rm docker-net

2- crea los contenedores contenedor maestro y esclavos con 1Gb de ram y de 1 hasta 2 cpu core

sudo docker run --privileged -v /sys/fs/cgroup:/sys/fs/cgroup:ro -d --cpuset-cpus=1,2 --memory=1g --memory-swap=-1 --ip=192.168.0.5 --net=docker-net --name=master-spark --hostname=master-spark -it mcastillo/centos_master_spark /usr/sbin/init

sudo docker run --privileged -v /sys/fs/cgroup:/sys/fs/cgroup:ro -d --cpuset-cpus=1,2 --memory=1g --memory-swap=-1 --ip=192.168.0.6 --net=docker-net --name=slave1-spark --hostname=slave1-spark -it mcastillo/centos_slave_spark /usr/sbin/init

sudo docker run --privileged -v /sys/fs/cgroup:/sys/fs/cgroup:ro -d --cpuset-cpus=1,2 --memory=1g --memory-swap=-1 --ip=192.168.0.7 --net=docker-net --name=slave2-spark --hostname=slave2-spark -it mcastillo/centos_slave_spark /usr/sbin/init

3- Ingresa por consola al contenedor

sudo docker exec -it master-spark /bin/bash

4- edita el archivo hosts y agrega las IP para los contenedores de master-spark, slave1-spark y slave2-spark

sudo docker exec -it master-spark /bin/bash
sudo docker exec -it slave1-spark /bin/bash
sudo docker exec -it slave2-spark /bin/bash

vi /etc/hosts
192.168.0.6 slave1-spark
192.168.0.5 master-spark
192.168.0.7 slave2-spark

5- en el contenedor master iniciar el cluster

sudo docker exec -it master-spark /bin/bash
/usr/spark-2.1.0-bin-hadoop2.7/sbin/start-all.sh

6- ejecutar la web de apache spark

http://192.168.0.5:8080/

Docker Pull Command
Owner
mcastillo

Comments (0)