tuxmanplay/api-ia-consumer repository overview

⁠Crear el archivo api.py para indicar su uso con la imagen

from fastapi import FastAPI from pydantic import BaseModel from llama_cpp import Llama

⁠Inicializar el modelo

model_path="/app/models/ Llama-3.2-3B.gguf"

model = Llama(model_path)

app = FastAPI()

⁠Definir la estructura del mensaje de entrada

class RequestModel(BaseModel): prompt: str

@app.post("/generate") async def generate_text(request: RequestModel): response = model("Q:" + request.prompt + " A:", max_tokens=32768, stop=["Q:", "\n"], echo=True) return {"response": response}