Sign inSign up

misterpoc/smollm3-360m-en-llama-cpp

By misterpoc

•Updated 8 months ago

Image
Machine learning & AI
0

129

misterpoc/smollm3-360m-en-llama-cpp repository overview

⁠Vue D'Ensemble (Français)

Vue D'Ensemble pour l'image Docker misterpoc/smollm3-360m-en-llama-cpp:v01

Cette image Docker permet uniquement de lancer le modèle smollm-360m-instruct-add-basics-q8_0.gguf via une interface web accessible sur 0.0.0.0:12434. Elle est conçue pour être utilisée dans une machine virtuelle (VM) ou une machine physique où Docker est installé.

Fonctionnalités :

  • Lancement du modèle SmolLM-360M en mode API.
  • Accès via une interface web locale ou réseau.

Limitations :

  • Cette image ne contient aucun autre outil ou fonctionnalité que le serveur d'inférence pour ce modèle spécifique.
  • L'utilisation de ce modèle est soumise aux licences et conditions d'utilisation du projet original SmolLM.

Utilisation :

  • L'image est fournie en l'état, sans garantie de performance ou de disponibilité.
  • L'utilisateur est responsable de la configuration réseau, de la sécurité et de la conformité légale de son utilisation.

Commandes : docker run -p 0.0.0.0:12434:12434 misterpoc/smollm3-360m-en-llama-cpp:v01

Accès :

  • URL NavigateurWeb : http://0.0.0.0:12434⁠
  • Test avec curl : curl http://<IP_MachineHoteDocker>:12434/v1/chat/completions
    -H "Content-Type: application/json"
    -d '{"model": "smollm3", "messages": [{"role": "user", "content": "Hello!"}]}'

Liens :


⁠Overview (English)

Overview for Docker Image misterpoc/smollm3-360m-en-llama-cpp:v01

This Docker image is only intended to run the smollm-360m-instruct-add-basics-q8_0.gguf model via a web interface on 0.0.0.0:12434. It is designed to be used in a virtual machine (VM) or a physical machine where Docker is installed.

Features:

  • Runs the SmolLM-360M model in API mode.
  • Accessible via a local or network web interface.

Limitations:

  • This image contains no other tools or features besides the inference server for this specific model.
  • Use of this model is subject to the licenses and terms of use of the original SmolLM project.

Usage:

  • The image is provided as-is, with no warranty of performance or availability.
  • The user is responsible for network configuration, security, and legal compliance of its use.

Command : docker run -p 0.0.0.0:12434:12434 misterpoc/smollm3-360m-en-llama-cpp:v01

Access :

  • URL WebBrowser : http://0.0.0.0:12434⁠
  • Test with curl : curl http://<IP_MachineHoteDocker>:12434/v1/chat/completions
    -H "Content-Type: application/json"
    -d '{"model": "smollm3", "messages": [{"role": "user", "content": "Hello!"}]}'

Link :

Tag summary

Content type

Image

Digest

sha256:9d8469f2d…

Size

638.4 MB

Last updated

8 months ago

docker pull misterpoc/smollm3-360m-en-llama-cpp:v01