maharajah/llama-cpp repository overview

⁠Llama.cpp AMD (ROCm and Vulkan) Images Auto-built

English⁠ | 中文⁠

Github: bnsui/llama-cpp-amd-docker⁠

⁠English

This is an automated build project providing Docker images tailored for AMD platforms (ROCm and Vulkan) for llama.cpp⁠.

⁠💡 Features

• Extremely Lightweight: Built directly from the official pre-compiled release binaries. Pure Ubuntu base.
• Dual Versions: Provides independent images for ROCm and Vulkan.
• Auto-Sync: Checks for official releases hourly and automatically builds and pushes to both Docker Hub and GitHub Container Registry (GHCR).

⁠🐳 Getting the Images

From Docker Hub:

• ROCm: docker pull maharajah/llama-cpp:rocm-latest
• Vulkan: docker pull maharajah/llama-cpp:vulkan-latest

From GitHub Container Registry (GHCR):

• ROCm: docker pull ghcr.io/bnsui/llama-cpp-amd-docker:rocm-latest
• Vulkan: docker pull ghcr.io/bnsui/llama-cpp-amd-docker:vulkan-latest

⁠🚀 Usage

Example: Running Vulkan Version

docker run --rm -it \
  --device /dev/dri \
  -v /path/to/your/models:/models \
  -p 8080:8080 \
  maharajah/llama-cpp:vulkan-latest \
  -m /models/your-model.gguf --host 0.0.0.0

Example: Running ROCm Version Note: ROCm requires both /dev/kfd and /dev/dri.

docker run --rm -it \
  --device /dev/kfd \
  --device /dev/dri \
  -v /path/to/your/models:/models \
  -p 8080:8080 \
  maharajah/llama-cpp:rocm-latest \
  -m /models/your-model.gguf --host 0.0.0.0

⁠简体中文

这是一个全自动构建的项目，旨在为 llama.cpp⁠ 提供专用于 AMD 平台（ROCm 和 Vulkan）的 Docker 镜像。

⁠💡 特性

• 极致轻量且干净：基于纯净版 Ubuntu 底座，直接提取官方最新 Release 预编译二进制文件打包。
• 双版本支持：提供基于 ROCm 和 Vulkan 的两个独立镜像。
• 自动同步更新：每小时自动检测官方发布，第一时间同步构建并双重推送到 Docker Hub 和 GitHub Packages (GHCR)。

⁠🐳 获取镜像

从 Docker Hub 拉取:

• ROCm 版本: docker pull maharajah/llama-cpp:rocm-latest
• Vulkan 版本: docker pull maharajah/llama-cpp:vulkan-latest

从 GitHub Container Registry (GHCR) 拉取:

• ROCm 版本: docker pull ghcr.io/bnsui/llama-cpp-amd-docker:rocm-latest
• Vulkan 版本: docker pull ghcr.io/bnsui/llama-cpp-amd-docker:vulkan-latest

⁠🚀 使用方法

镜像默认的入口点是 llama-server。

运行 Vulkan 版本示例:

docker run --rm -it \
  --device /dev/dri \
  -v /path/to/your/models:/models \
  -p 8080:8080 \
  maharajah/llama-cpp:vulkan-latest \
  -m /models/your-model.gguf --host 0.0.0.0

运行 ROCm 版本示例: 注意：ROCm 环境需要同时挂载 /dev/kfd 和 /dev/dri 设备。

docker run --rm -it \
  --device /dev/kfd \
  --device /dev/dri \
  -v /path/to/your/models:/models \
  -p 8080:8080 \
  maharajah/llama-cpp:rocm-latest \
  -m /models/your-model.gguf --host 0.0.0.0