stackateam/flux_amendements repository overview

⁠FLUX d'ingestion des amendements de L'ASSEMBLEE NATIONALE

(Documentation générale: https://bitbucket.org/stackadoc/index/src/master/README.md⁠)

Source de données:

http://data.assemblee-nationale.fr/travaux-parlementaires/amendements⁠

Fréquence des mises à jour:

Ecoute toutes les 15 secondes d'une modification sur le site de l'assemblée.

INDEX:

textes_parlement (https://bitbucket.org/stackadoc/index/src/master/TEXTS.md⁠)

type:

am_an (V0)

surchage Type:

• ref_texte_legislatif

⁠Description:

• Scrapping de la checksum MD5 du fichier source.
• Si la MD5 a changé, téléchargement du fichier et génération des MD5 des sous répertoires.
• Importation des amendements des sous-repertoires qui ont subi une modification.
• Sauvegarde de la MD5 globale et des sous MD5 sur AWS S3.

Le flux nécéssite deux fichiers sauvegardés sur S3 pour fonctionner, ils sont présents dans le bucket: amendements-flux
Dans le bucket amendements-flux se trouvent les deux fichers:

• md5.txt contient la checksum hébergée par le site data.assemblee-nationale.fr (contient initialement l'objet python "")
• md5list.txt contient les sous-checksum des dossiers amendements. (contient initialement l'objet python {})

Le point d'entrée de l'image docker est import_amend.py et les fonctions utiles aux traitements sont contenues dans /utils/amendements.flux

⁠Prérequis :

fichier env.list contenant:

ELASTIC_ID = 
ELASTIC_PSSWD = 
AWS_ACCESS_KEY_ID =
AWS_SECRET_ACCESS_KEY =

⁠Lancement Image

save_new_md5list_after_inject(dict())
save_new_md5_after_inject("")
nohup sudo docker run --env-file ./env.list stackateam/flux_amendements:novecs > flux.txt &