stackateam/flux_amendement_senat repository overview

⁠FLUX d'ingestion des Amendements du SENAT

(Documentation générale: https://bitbucket.org/stackadoc/index/src/master/README.md⁠)

Source de données:
"Enséance" et "Encommission" (applications web proposées par l'administration)
Disponibles via http://www.senat.fr/enseance⁠ et http://www.senat.fr/encommission⁠

Fréquence des mises à jour:
Recherche de modifications toutes les 40 minutes (basé sur md5 générée puis enregistrée sur S3)

INDEX:

• textes_parlement (https://bitbucket.org/stackadoc/index/src/master/TEXTS.md⁠)

type:

• am_senat (V0)

⁠Description:

Ce flux est issu du scraping itératif des pages suivantes :

• http://www.senat.fr/enseance/2019-2020/⁠<ID_PROJET_DE_LOI>/liste_discussion.html
• http://www.senat.fr/encommission/2019-2020/⁠<ID_PROJET_DE_LOI>/liste_discussion.html

En faisant varier <ID_PROJET_DE_LOI> de 0 à 2000 tous les projets de lois sont ainsi récupérés. (A priori, il n'y a pas de table qui donne la liste des ID_PROJETS)

Au cours de la récupération des infos, on conserve une empreinte MD5 de ce qui a été importé.

Toutes les 40 minutes les pages web sont scrutées et comparées aux empreintes MD5 stockées sur S3 pour savoir si un amendement a été rajouté/supprimé ou modifié.

⁠Requis :

env.list ou variables d'envionement contenant:

ELASTIC_ID=
ELASTIC_PSSWD=
AWS_ACCESS_KEY_ID = 
AWS_SECRET_ACCESS_KEY =

⁠Lancement de l'image

nohup sudo docker run --env-file ./env.list stackateam/flux_amendement_senat:latest > flux.txt &

⁠En prod ...

Sur une instance EC2 AWS linux, t2.micro

⁠Démarrer ou réinitialiser:

save_new_md5_after_inject(dict(),"commission")
save_new_md5_after_inject(dict(),"seance")