stackateam/flux_dosleg repository overview

⁠FLUX d'ingestion des Dossiers Legislatifs

(Documentation générale: https://bitbucket.org/stackadoc/index/src/master/README.md⁠)

Source de données:

Dossiers Legislatifs au format JSON (dossier: Document) : http://data.assemblee-nationale.fr/travaux-parlementaires/dossiers-legislatifs⁠

Fréquence des mises à jour:

Ecoute toutes les 15 secondes d'une modification sur le site de l'assemblée.

INDEX:

textes_parlement (https://bitbucket.org/stackadoc/index/src/master/TEXTS.md⁠)

type:

prop_loi_an

Version actuelle

version: 0

surchage Type:

• ref_dossier_legislatif
• cosignataires
• cosignataires codes
• auteur_code

⁠Description:

• Scrapping de la checksum MD5 du fichier source.
• Si la MD5 a changé, téléchargement du fichier et génération des MD5 des sous répertoires.
• Importation des amendements des sous-repertoires qui ont subi une modification.
• Sauvegarde de la MD5 globale et des sous MD5 sur AWS S3.

Le flux nécéssite deux fichiers sauvegardés sur S3 pour fonctionner, ils sont présents dans le bucket: amendements-flux
Dans le bucket amendements-flux se trouvent les deux fichers:

• md5.txt contient la checksum hébergée par le site data.assemblee-nationale.fr (contient initialement l'objet python "")
• md5list.txt contient les sous-checksum des fichiers-dossiers legislatifs. (contient initialement l'objet python {})

Le point d'entrée de l'image docker est import_amend.py et les fonctions utiles aux traitements sont contenues dans /utils/amendements.flux

⁠Prérequis :

fichier env.list contenant:

ELASTIC_ID = 
ELASTIC_PSSWD = 
AWS_ACCESS_KEY_ID =
AWS_SECRET_ACCESS_KEY =

⁠Lancement Image

nohup sudo docker run --env-file ./env.list stackateam/flux_dosleg:latest > flux.txt &

⁠Démarrage/redémarrage du batch et du flux:

save_new_md5list_after_inject_dosleg(dict()) 
save_new_md5list_after_inject(dict())
save_new_md5_after_inject("") # provoque le téléchargement

https://www.senat.fr/leg/ppl⁠<session=16>-<3dernier-digits-620>.html