stackateam/flux_questions_an repository overview

⁠FLUX d'ingestion des Questiosn au gouvernement (Assemblée nationale)

(Documentation générale: https://bitbucket.org/stackadoc/index/src/master/README.md⁠)

Source de données:

Questions au gouvernement au format JSON (les 3 types): http://data.assemblee-nationale.fr/travaux-parlementaires/questions⁠

Fréquence des mises à jour:

Recherche de modifications toutes les 15 secondes (basée sur md5 générée puis enregistrée sur S3)

INDEX:

• textes_parlement (https://bitbucket.org/stackadoc/index/src/master/TEXTS.md⁠)

type:

• question

⁠Description:

• Scrapping de la checksum MD5 du fichier source.
• Si la MD5 a changé, téléchargement du fichier et génération des MD5 des fichiers-questions.
• Importation des nouvelles questions.
• Sauvegarde de la MD5 globale.

Le flux nécéssite deux fichiers sauvegardés sur S3 pour fonctionner, ils sont présents dans le bucket: questions-flux
Dans le bucket questions-flux se trouvent les deux fichers:

• md5.txt contient la checksum hébergée par le site data.assemblee-nationale.fr (contient initialement l'objet python "")

• md5list.txt contient les noms des fichiers-questions. (contient initialement l'objet python {})

Le point d'entré de l'image docker est import_questions.py et les fonctions utiles aux traitements sont contenues dans /utils/flux.py

⁠Requis :

env.list ou variables d'envionement contenant:

ELASTIC_ID=
ELASTIC_PSSWD=
AWS_ACCESS_KEY_ID = 
AWS_SECRET_ACCESS_KEY =

⁠Lancement de l'image

nohup sudo docker run --env-file ./env.list stackateam/flux_questions_an:latest > flux.txt &

⁠En prod ...

Sur une instance EC2 AWS linux, t2.micro