ocpub/oc9-tritonserver repository overview

⁠Triton Inference Server 2.70.0 on OpenCloudOS 9

⁠基本信息

• 项目仓库：https://github.com/triton-inference-server/server⁠
• Triton Server 版本：v2.70.0
• NGC 对应版本：26.06
• 基础镜像：opencloudos/opencloudos9-minimal:latest
• 上游发布包：tritonserver-2.70.0+nv26.06-cu132-cp312-manylinux_2_28-x86_64.zip
• 架构：x86_64

⁠适用场景

• Triton Inference Server 模型推理服务
• HTTP/gRPC 推理接口
• GPU 推理服务镜像构建基础

⁠构建

docker build -t oc9-tritonserver:2.70.0 .

如果本地网络访问 GitHub release 资产不稳定，可以通过构建参数临时指定 GitHub 代理：

docker build \
  --build-arg GITHUB_PROXY=https://gh-proxy.com/ \
  -t oc9-tritonserver:2.70.0 .

也可以通过构建参数指定版本：

docker build \
  --build-arg TRITON_VERSION=2.70.0 \
  --build-arg NGC_VERSION=26.06 \
  -t oc9-tritonserver:2.70.0 .

⁠运行

查看 Triton Server 命令行帮助：

docker run --rm oc9-tritonserver:2.70.0 tritonserver --help

查看版本环境变量：

docker run --rm oc9-tritonserver:2.70.0 bash -lc 'echo ${TRITON_VERSION}'

启动服务时需要挂载模型仓库：

docker run --rm --gpus all \
  -p 8000:8000 \
  -p 8001:8001 \
  -p 8002:8002 \
  -v /path/to/model_repository:/models \
  oc9-tritonserver:2.70.0 \
  tritonserver --model-repository=/models

⁠测试

bash test.sh oc9-tritonserver:2.70.0

测试内容包括：

• 容器基础系统为 OpenCloudOS
• Triton 版本为 2.70.0
• Triton Server 动态依赖完整
• tritonserver --help 可正常执行并包含 model-repository 参数
• Triton Server 关键目录存在

⁠注意事项

Triton Inference Server 的完整推理服务需要模型仓库和对应后端依赖。GPU 推理需要宿主机安装 NVIDIA 驱动和 NVIDIA Container Toolkit，并通过 --gpus all 运行容器。