Public Repository

Last pushed: 5 months ago
Short Description
OpenSource 기반 BigData 처리환경 구성
Full Description

OpenSource 기반 BigData 처리환경 구성

CentOS 7.3

jdk-8u91-linux-x64

Zookeeper-3.4.9

hadoop-2.7.3

scala-2.11.7

spark-2.1.0-bin-hadoop2.7

[완료]

  1. Zookeeper와 Hadoop을 이중화로 구성하고 Spark를 통한 데이터 분석 환경 구성

  2. Spark의 spark-shell --master yarn --deploy-mode client 을 통한 HDFS 연결

[예정]

  1. Apach Flume, Apach Kafka, Redis, MongoDB 설치 및 구성
Docker Pull Command
Owner
bibul7

Comments (0)