stackateam/flux_cri_senat repository overview

⁠FLUX d'ingestion des Compte-Rendus intégraux des séances du sénat:

(Documentation générale: https://bitbucket.org/stackadoc/index/src/master/⁠)

Source de données:

Fichiers XML des comptes rendus : https://data.senat.fr/la-base-comptes-rendus/⁠

Fréquence des mises à jour:

TODO

INDEX:

• textes_parlement (https://bitbucket.org/stackadoc/index/src/master/TEXTS.md⁠)

type:

• debat_senat

version

0

⁠Description:

Fonctionne sur le meme principe que les débats AN

1. Toutes les 30 minutes (1800 s), téléchargement du dossier zip source
2. Un hash des fichiers téléchargés est calculé
3. On opère la comparaison du nouveau hash avec les anciens stockés sur S3
4. Si les hash sont différents on lance l'importation des variations.

⁠Requis:

env.list ou variables d'envionement contenant:

ELASTIC_ID=
ELASTIC_PSSWD=
AWS_ACCESS_KEY_ID = 
AWS_SECRET_ACCESS_KEY =

⁠Lancement de l'image

save_new_md5list_after_inject(dict())
save_new_md5_after_inject("")
nohup sudo docker run --env-file ./env.list stackateam/flux_cri_senat:latest > flux.txt &

⁠En prod ...

Sur une instance AWS-EC2 amazon_linux: t2.micro.