dataforgoodfr / dataforgoodfr/12_bloom
Archivage des données AIS
@marthevienne is already working on this.
Since Oct 31, 2024.
- Dominant language
- Python
- Stars
- 30
- Forks
- 10
- Avg merge
- 1m
- Merged PRs (30d)
- 9
Description
Résumé :
- traitement d'archivage créé par Nicolas => exportation des données en local au format parquet
- rediriger export vers S3 clevercloud
Actuellement, les données AIS récupérées par l'API SPIRE sont stockées dans la table spire_ais_data toutes les 15 minutes. Ces données sont ensuite consommées par les traitements de l'ETL, mais ne sont jamais supprimées.
La table spire_ais_data a donc vocation à grossir jusqu'à l'infini et l'au-delà ...
Il faudrait donc créer un traitement d'export des données (par exemple toutes les semaines) pour extraire les données anciennes dans un fichier et purger la table. Le fichier généré pourrait ensuite être envoyé vers un stockage en ligne.
BONUS: créer un traitement permettant de ré-importer un fichier archivé.
Contributor guide
No contributing guide indexed for this repository
First steps
- Read the whole issue, then the project's contributing guide.
- Comment on the issue to say you are picking it up — it saves two people doing the same work.
- Fork the repository and make your change on a branch.
- Open a pull request that references the issue number.
Assessment
This issue has not been assessed yet.