Sign inSign up

mauriciovergara/centinela-scraper

By mauriciovergara

•Updated 11 months ago

Image
0

940

mauriciovergara/centinela-scraper repository overview

TITULO: Centinela Scraper Worker

DESCRIPCIÓN: Motor de análisis heurístico y web scraping.

Este es el Worker de la plataforma. No expone puertos, sino que funciona en segundo plano escuchando una cola de Redis. Cuando recibe una URL, navega al sitio, extrae el contenido limpio, aplica algoritmos de detección de desinformación (Fake News) y guarda la evidencia en la base de datos.

INICIO RÁPIDO (Quick Start): Este servicio no se ejecuta de forma aislada, necesita estar conectado a la red de servicios.

Comando para ejecutar: docker run -d -e DATABASE_URL="postgresql://user:pass@db:5432/centinela" -e REDIS_HOST="redis" --name centinela-worker mauriciovergara/centinela-scraper:latest

CAPACIDADES DE ANÁLISIS:

Web Scraping: Extracción de texto limpio (BeautifulSoup).

Heurística: Detección de títulos clickbait y mayúsculas excesivas.

Scoring: Cálculo de probabilidad de riesgo (0-100%).

REQUISITOS:

Conexión a Redis (para recibir tareas).

Conexión a PostgreSQL (para guardar resultados).

Tag summary

Content type

Image

Digest

sha256:bd00df6c8…

Size

53.8 MB

Last updated

11 months ago

docker pull mauriciovergara/centinela-scraper