dataforgoodfr / dataforgoodfr/12_bloom
[ETL] Conception du pipeline de transformation
Open
@marthevienne is already working on this.
Since Jul 3, 2025.
P1
- Dominant language
- Python
- Stars
- 30
- Forks
- 10
- Avg merge
- 1m
- Merged PRs (30d)
- 9
Description
Objectif
Au bout de 2-3 jours, définir des sous-issues précises à ajouter dans ce milestone. Les challenger avec l'équipe tech le 7 juillet
Description
À partir de la documentation et des possibilités de dbt, redéfinir le(s) schéma(s) de transformation des données (sur Miro ou autre). Le(s) schéma(s) doit(vent) inclure le traitement :
- du "temps réel" (intégration des nouvelles positions toutes les 15 min)
- de l'historique des trajectoires (traitement par lot ou recalcul de la trajectoire complète du navire ?)*
* selon les contraintes rencontrées, déterminer s'il faudrait plutôt un traitement par lot ou si le recalcul des trajectoires dans leur totalité est envisageable (perf, interruption de service ?)
Liste des contraintes
- gérer l'ingestion des nouvelles positions reçues pendant le traitement de l'historique
- application peut être down pendant maximum 24h => tester durée recalcul sur BDD dev régulièrement (1/mois)
Contributor guide
No contributing guide indexed for this repository
First steps
- Read the whole issue, then the project's contributing guide.
- Comment on the issue to say you are picking it up — it saves two people doing the same work.
- Fork the repository and make your change on a branch.
- Open a pull request that references the issue number.
Assessment
This issue has not been assessed yet.