stackateam/flux_questions_senat repository overview

⁠FLUX d'ingestion des Questions au Sénat

(Documentation générale: https://bitbucket.org/stackadoc/index/src/master/README.md⁠)

Source de données:

Questions au SENAT au format csv: https://data.senat.fr/la-base-questions/⁠

Fréquence des mises à jour:

Recherche de modifications toutes les 15 secondes (basée sur md5 générée puis enregistrée sur S3)

INDEX:

• textes_parlement (https://bitbucket.org/stackadoc/index/src/master/TEXTS.md⁠)

type:

• questions sénat

⁠Description:

• Téléchargement du fichier csv
• Si la MD5 a changé alors:
• Importation des nouvelles questions.
• Sauvegarde de la MD5 globale.

Le flux nécéssite un fichier sauvegardé sur S3 pour fonctionner, il est présent dans le bucket: questions-senat-flux

• md5.txt contient la checksum générée à comparer d'un cycle à un autre (contient initialement l'objet python "")

Le point d'entré de l'image docker est import_questions.py et les fonctions utiles aux traitements sont contenues dans /utils/flux.py

⁠Requis :

env.list ou variables d'envionement contenant:

ELASTIC_ID=
ELASTIC_PSSWD=
AWS_ACCESS_KEY_ID = 
AWS_SECRET_ACCESS_KEY =

⁠Lancement de l'image

nohup sudo docker run --env-file ./env.list stackateam/flux_questions_senat:latest > flux.txt &

⁠En prod ...

Sur une instance EC2 AWS linux, t2.micro