stackateam/flux_discours repository overview

:rewind: acceuil⁠

⁠Flux d'importation des discours publics

Source de données:

Collection des discours publiques sur vie-publique.fr⁠ Cette source a généralement < 24h de retard par rapport à la diffusion du discours original.

Fréquence des mises à jour:

Manuelle

Fréquence des mises à jour:

Toutes les 10 minutes

Index alimenté par ce scrapper

discours , hérite de textes*

champs:

• type

• _id

• _index

• _score

• _type

• auteur

• date

• date_publication

• idex

• resume

• stackadoc_version

• texte

• thématique

• titre

• uid

• url

⁠Description:

• Toutes les 10 minutes, le scrapper intérroge le site de vie publique pour déterminer les discours présents sur les X premières pages (X = 10 )
• Si les hash des titres de ces discours ne sont pas déja présents dans l'état du scraper, alors les importer.
• Sinon attendre la prochaine itération.

⁠Requis :

env.list ou variables d'envionement contenant:

ACCESS_TOKEN=
ACCESS_SECRET=
ELASTIC_ID=
ELASTIC_PSSWD=

⁠Lancement de l'image

nohup sudo docker run --env-file ./env.list stackateam/flux_discours:latest > flux_discours.txt &

⁠En prod ...

ORANGE FLEXIBLE ENGINE sur la meme que flux_jorf