ocpub/oc9-vllm repository overview

docker build -t oc9-vllm:0.18.1 .

# 验证版本
docker run --rm oc9-vllm:0.18.1 \
    python3 -c "import importlib.metadata; print(importlib.metadata.version('vllm'))"

# 运行基础测试（在版本目录下执行）
bash test.sh oc9-vllm:0.18.1

# 启动 OpenAI 兼容推理服务（需要 GPU + 模型）
docker run --rm --gpus all -p 8000:8000 oc9-vllm:0.18.1 \
    python3 -m vllm.entrypoints.openai.api_server \
    --model <model_path_or_hf_id> \
    --port 8000