stackateam/flux_seance_debat repository overview

⁠FLUX d'ingestion des Séances de l'Assemblée Nationale

(Documentation générale: https://bitbucket.org/stackadoc/index/src/master/README.md⁠)

Source de données:

Débats de l'AN au format XML: http://data.assemblee-nationale.fr/travaux-parlementaires/debats⁠

Fréquence des mises à jour:

Recherche de modifications toutes les 15 secondes (basée sur md5 génére puis enregistrée sur S3)

INDEX:

• textes_parlement (https://bitbucket.org/stackadoc/index/src/master/TEXTS.md⁠)

type:

• debat_an

Version

0

⁠Description:

• Scrapping de la checksum MD5 du fichier source.
• Si la MD5 a changé, téléchargement du fichier et génération des MD5 des fichiers-questions.
• Importation des nouvelles questions.
• Sauvegarde de la MD5 globale.

Le flux nécéssite deux fichiers sauvegardés sur S3 pour fonctionner, ils sont présents dans le bucket: questions-flux
Dans le bucket questions-flux se trouvent les deux fichers:

• md5.txt contient la checksum hébergé par le site data.assemblee-nationale.fr (contient initialement l'objet python "")

• md5list.txt contient les noms des fichiers. (contient initialement l'objet python {})

Le point d'entrée de l'image docker est import_seance_debat.py et les fonctions utiles aux traitements sont contenues dans /utils/flux.py

⁠Requis :

env.list ou variables d'envionement contenant:

ELASTIC_ID=
ELASTIC_PSSWD=
AWS_ACCESS_KEY_ID = 
AWS_SECRET_ACCESS_KEY =

⁠Lancement de l'image

nohup sudo docker run --env-file ./env.list stackateam/flux_seance_debat:latest > flux.txt &

⁠En prod ...

Sur une instance EC2 AWS linux, t2.micro

⁠Réinitialiser ou démarrer:

save_new_md5list_after_inject(set())
save_new_md5_after_inject("")