tuxmanplay/gpt-api repository overview

WORKDIR /app

Puerto de servicio - TCP:8000

Define el path para buscar los modelos en /app/models Esto al correr un contenedor con esta imagen como base.

Crea un api.py para consumir el modelo a usar mediante API-REST con FastAPI. Este debe localizarse en /app para que el contenedor le encuentre y lo use.

########################################################

⁠model_path="/app/models/DeepSeek-R1-xyz.gguf"

⁠model = Llama(model_path)

########################################################

Ejemplo para correr un contenedor con esta imagen: docker run -d --name mi-gpt-api -p 8000:8000 -v ~/app:/app -v ~/MODELS:/app/models --restart=always gpt-api:llama

Nota: Los modelos deberán estar descargados en local (en tu equipo), esto para montar o mapear con opción -v en docker

Nota2: El tag para la imagen es llama. Usa gpt-api:llama