stackateam/flux_dosleg_senat repository overview

⁠FLUX d'ingestion des DOSLEG du Sénat

(Documentation générale: https://bitbucket.org/stackadoc/index/src/master/README.md⁠)

Source de données:

DOSLEG DU SENAT (4 fichiers csv): https://data.senat.fr/dosleg/⁠

Fréquence des mises à jour:

Recherche de modifications toutes les 30 minutes(1800 s) (téléchargement systématique pour vérification de modification)

INDEX:

• textes_parlement (https://bitbucket.org/stackadoc/index/src/master/TEXTS.md⁠)

type:

• dosleg_senat_+<sous_type>

Version:

0

⁠Description:

• Téléchargement du fichier csv
• Si la MD5 a changé alors:
• Importation des nouvelles questions.
• Sauvegarde de la MD5 globale.

Le flux nécéssite un fichier sauvegardé sur S3 pour fonctionner, il est présent dans le bucket: questions-senat-flux

• .csv contient le fichier importé précédement

Le point d'entré de l'image docker est import_questions.py et les fonctions utiles aux traitements sont contenues dans /utils/flux.py

⁠Requis :

env.list ou variables d'envionement contenant:

ELASTIC_ID=
ELASTIC_PSSWD=
AWS_ACCESS_KEY_ID = 
AWS_SECRET_ACCESS_KEY =

⁠Lancement de l'image

save_new_csv_after_inject("./ppl.csv")
save_new_csv_after_inject("./dosleg.csv")
save_new_csv_after_inject("./lois_p.csv")
save_new_csv_after_inject("./ri.csv")



nohup sudo docker run --env-file ./env.list stackateam/flux_dosleg_senat:latest > flux.txt &

⁠En prod ...

Sur une instance EC2 AWS linux, t2.micro