sf2gis/hadoop repository overview

TAG说明：
#####以下为3个节点的hue集群####
hue01:包含HDFS和YARN、ZooKeeper1、HBase、Hive、Pig、sqoop、flume、hue的服务器01的镜像。
hue02:包含HDFS和YARN、ZooKeeper2、HBase的服务器02的镜像。
hue03:包含HDFS和YARN、ZooKeeper3、HBase的服务器03的镜像。

#####以下为3个节点的flume集群####
flume01:包含HDFS和YARN、ZooKeeper1、HBase、Hive、Pig、sqoop、flume的服务器01的镜像。
flume02:包含HDFS和YARN、ZooKeeper2、HBase的服务器02的镜像。
flume03:包含HDFS和YARN、ZooKeeper3、HBase的服务器03的镜像。

#####以下为3个节点的sqoop集群####
sqoop01:包含HDFS和YARN、ZooKeeper1、HBase、Hive、Pig、sqoop的服务器01的镜像。
sqoop02:包含HDFS和YARN、ZooKeeper2、HBase的服务器02的镜像。
sqoop03:包含HDFS和YARN、ZooKeeper3、HBase的服务器03的镜像。

#####以下为3个节点的Pig集群####
pig01:包含HDFS和YARN、ZooKeeper1、HBase、Hive、Pig的服务器01的镜像。
pig02:包含HDFS和YARN、ZooKeeper2、HBase的服务器02的镜像。
pig03:包含HDFS和YARN、ZooKeeper3、HBase的服务器03的镜像。

#####以下为3个节点的Hive集群####
hive01:包含HDFS和YARN、ZooKeeper1、HBase、Hive的服务器01的镜像。
hive02:包含HDFS和YARN、ZooKeeper2、HBase的服务器02的镜像。
hive03:包含HDFS和YARN、ZooKeeper3、HBase的服务器03的镜像。

#####以下为3个节点的HBase集群####
hbase01:包含HDFS和YARN、ZooKeeper1、HBase的服务器01的镜像，增加中国时区NTP时间同步。
hbase02:包含HDFS和YARN、ZooKeeper2、HBase的服务器02的镜像，增加中国时区NTP时间同步。
hbase03:包含HDFS和YARN、ZooKeeper3、HBase的服务器03的镜像，增加中国时区NTP时间同步。

#####以下为3个节点的ZooKeeper集群####
zk01:包含HDFS和YARN、ZooKeeper1的服务器01的镜像。
zk02:包含HDFS和YARN、ZooKeeper2的服务器02的镜像。
zk03:包含HDFS和YARN、ZooKeeper3的服务器03的镜像。

#####以下为3个节点的分布式hadoop####
hadoop01:包含HDFS和YARN的服务器01的镜像。
hadoop02:包含HDFS和YARN的服务器02的镜像。
hadoop03:包含HDFS和YARN的服务器03的镜像。
节点分布和IP分配：
01-NameNode,DataNode,NodeManager，IP=172.17.0.2
02-ResourceManager,DataNode,NodeManager，IP=172.17.0.3
03-SecondaryNameNode,DataNode,NodeManager，IP=172.17.0.4

#####以下为3个节点的分布式环境####
ntp01:包含ntp时间同步服务器01的镜像。
ntp02:包含ntp时间同步客户端02的镜像。
ntp03:包含ntp时间同步客户端03的镜像。
#####以下为伪分布式环境########## yarn：包含yarn和HDFS的伪分布式环境。
hadoop260：包含HDFS的伪分布式环境。
CentOS67：Hadoop的安装环境。

使用说明：
拉取：docker pull sf2gis/hadoop:hadoop260
启动容器：docker run -p 8122:22 -p 8188:8088 -p 50170:50070 -p 50175:50075 -p 8120:8020 -p 19888:19888 -p 60110:60010 -p 60130:60030 -it --name hive01 --privileged -h hadoop-senior01.test.com --network=mynet --ip 172.18.0.2 sf2gis/hadoop:hive01
启动后执行操作：
1）修改：/etc/hosts
172.18.0.2 hadoop-senior01.test.com
172.18.0.3 hadoop-senior02.test.com
172.18.0.4 hadoop-senior03.test.com
172.18.0.5 hadoop-senior04.test.com
2）执行：config-hadoop.sh（配置环境变量，开启SSH和ntp服务）
3）执行：config-01.sh(启动hdfs，yarn，zk)
4）依次执行02,03机器。
5）启动HBase，Hive。