rafaelleru/python-pyramid repository overview
AI remote strem
Problema
El creciente número de aplicaciones de inteligencia artificial en el mercado nos lleva a pensar en el coste de las infraestructuras que plantean estos servicios en entornos de producción. Ademas nos encontramos con que resulta complicado extrapolar los distintos modelos obtenidos a entornos reales de producción.
Resolución del problema.
AI remote stream pretende mitigar algunas de las limitaciones planteadas anteriormente poniendo al alcance de los usuarios una infraestructura en la que poder usar dichos modelos inteligentes en entornos de producción. El sistema permitirá al usuario ejecutar tareas de clasificación de datos en la nube sin tener que disponer de una infrastructura propia.
El sistema permitira generar tareas mediante un servicio y obtener los resultados una vez estos esten listos todo mediante un servicio REST.
Solución planteada
El sistema encolara las tareas que serán procesadas en modelos de aprendizaje automático previamente entrenados. Una vez la tarea de clasificación este completada se almacenaran los resultados en una base de datos.
El usuario podrá obtener mediante un identificador de tarea en todo momento el estado en el que se encuentra la tarea, y si esta esta completa podra obtener los resultados obtenidos por los modelos online.
Tecnologías usadas
- Python 3.7 como lenguaje principal en el que construir nuestro sistema.
- Pyramid como framework para construir nuestro API REST.
- Apache Kafka como broker para encolar nuestras tareas.
- Celery como gestor de tareas del sistema.
- Elasticsearch como sistema de base de datos.
- Pytest como framework para desarrollar los test unitarios.
- Docker para la virtualización de nuestro servicio.
- EKS para el despliegue, ya que para el despliegue final usaremos kubernetes para orquestar los contenedores.
- Emacs (con evil mode) y neovim para el desarrollo ;)
Integracion continua
Para la integración continua vamos a usar travis, no es necesario usar herramientas tipo make por el momento ya que solo queremos ejecutar los tests de nuestro proyecto.
Para configurar travis solo ha sido necesario dar de alta el proyecto en la web y añadir el repositorio, tras esto hemos añadido el archivo .travis.yml para ejecutar todo el proceso de integración continua en cada commit
Documentacion
buildtool: makefile
Despliegue: https://streamai.herokuapp.com
Contenedor: https://streamai-docker.herokuapp.com
docker-hub: https://hub.docker.com/r/rafaelleru/stream-ai
provision: terraform/main.tf
Despliegue final: 35.230.119.46
Tag summary
Content type
Image
Digest
Size
340.3 MB
Last updated
almost 7 years ago
docker pull rafaelleru/python-pyramid