Le code d'origin vient du dépôt https://github.com/getumbrel/llama-gpt . Légère modification pour corrigé des soucis de compatibilité et ajouter quelques logs
version: '3'
services:
llama-gpt-ui:
image: dim145/llamagpt-ui:latest
container_name: llama-gpt-ui
ports:
- 3000:3000
restart: unless-stopped
environment:
- 'GOOGLE_CSE_ID=""'
- 'GOOGLE_API_KEY=""'
- 'OPENAI_API_KEY=/models/code-llama-7b-chat.gguf' # doit être egal au chemin vers le model sur l'api dans le cas d'utilisation de llama
- 'OPENAI_API_HOST=http://llama-gpt-api-cuda-gguf:8000' # url vers l'api
- 'DEFAULT_MODEL=code-llama-7b-chat' # doit être strictement egal à un des models pris en charge
- 'NEXT_PUBLIC_DEFAULT_SYSTEM_PROMPT=Vous êtes un assistant IA serviable et sympathique. Répondez de manière très concise en français.' # à modifier à votre convenance
- 'NEXT_PUBLIC_DEFAULT_TEMPERATURE=0.5' # entre 0 et 1. 1 = créatif, 0.5 = neutre
- 'WAIT_HOSTS=llama-gpt-api-cuda-gguf:8000' # pour que l'ui attente l'api
- 'WAIT_TIMEOUT=3600'
La variable DEFAULT_MODEL doit contenir un de ces models (sans /models/ dans le cas de llama) La variable MODEL de l'api doit être exactement une des lignes si dessous, de même pour la variable OPENAI_API_KEY ci-dessus.
gpt-3.5-turbogpt-35-turbo/models/llama-2-7b-chat.bin/models/llama-2-13b-chat.bin/models/llama-2-70b-chat.bin./models/llama-2-7b-chat.bin # macos./models/llama-2-13b-chat.bin # macos./models/llama-2-70b-chat.bin # macos/models/code-llama-7b-chat.gguf/models/code-llama-13b-chat.gguf/models/code-llama-34b-chat.gguf./models/code-llama-7b-chat.gguf # macos./models/code-llama-13b-chat.gguf # macos./models/code-llama-34b-chat.gguf # macosContent type
Image
Digest
sha256:50504dc8c…
Size
212.7 MB
Last updated
over 2 years ago
docker pull dim145/llamagpt-ui