Sign inSign up

layzer/sealos-hdfs

By layzer

•Updated about 2 months ago

HDFS sealos cluster image (dual-arch amd64/arm64), HA NameNode + ZooKeeper, one-command deploy

Image
0

154

layzer/sealos-hdfs repository overview

⁠sealos-hdfs

HDFS 的 sealos⁠ 集群镜像，基于 Stackable Data Platform⁠ 25.3.0 operator 体系构建（helm + CR 模式），双架构 linux/amd64 + linux/arm64。镜像内已打包 5 个 operator chart 与全部 9 个容器镜像，离线可部署，一条 sealos run 完成「安装 operator → ZooKeeper → HdfsCluster(HA)」全流程。

⁠集群拓扑（默认值，均可配置）

组件副本说明
ZooKeeper33.9.3，HDFS HA 协调
NameNode2Hadoop 3.4.1，HA（Active/Standby 自动故障转移）
JournalNode3编辑日志仲裁
DataNode3dfsReplication=3

平台 operator：commons / listener / secret（CSI）/ zookeeper / hdfs，版本统一 25.3.0。

⁠快速开始

sealos run layzer/sealos-hdfs:v3.4.1

要求：sealos v5 集群（master 节点自带 helm 与 kubeconfig），集群内有可用的默认 StorageClass 供给 PVC。无需 cert-manager。

⁠可配置变量

通过 -e KEY=VALUE 覆盖，重复执行加 --force：

变量默认值说明
NAMESPACEhdfs-systemHDFS 集群命名空间（operator 固定在 stackable-operators）
ZK_REPLICAS3ZooKeeper 节点数
NN_REPLICAS2NameNode 节点数（HA 建议 2）
JN_REPLICAS3JournalNode 节点数（奇数）
DN_REPLICAS3DataNode 节点数
DFS_REPLICATION3HDFS 块副本数（不大于 DN 数）
HADOOP_VERSION3.4.1Hadoop 产品版本（改为非内置版本需联网回源）
ZK_VERSION3.9.3ZooKeeper 产品版本
STACKABLE_VERSION25.3.0SDP 平台版本
STORAGE_CLASS空StorageClass，留空用集群默认
sealos run layzer/sealos-hdfs:v3.4.1 -e DN_REPLICAS=3 -e DFS_REPLICATION=3 --force

⁠访问

# HDFS Web UI (NameNode-0)
http://hdfs-namenode-default-0.hdfs-namenode-default.<NAMESPACE>:9870

# CLI / 集群报告
kubectl exec -n <NAMESPACE> hdfs-namenode-default-0 -c namenode -- hdfs dfsadmin -report

# 读写文件
kubectl exec -n <NAMESPACE> hdfs-namenode-default-0 -c namenode -- hdfs dfs -ls /

⁠备注

  • DataNode 由 operator 顺序滚动拉起，全部上线需要几分钟，属正常现象
  • 存储容量默认：NameNode 5Gi / JournalNode 2Gi / DataNode 10Gi / ZooKeeper 2Gi（PVC）
  • 分架构 tag：v3.4.1-amd64 / v3.4.1-arm64 为 manifest list 组成源，一般无需直接使用

Tag summary

Content type

Image

Digest

sha256:225745063…

Size

1.9 GB

Last updated

about 2 months ago

docker pull layzer/sealos-hdfs:v3.4.1