creativecommons / creativecommons/quantifying

Automate data pipeline orchestration using Apache Airflow

Ouverte
#182 4 commentaires 0 réactions 0 personnes assignées Voir sur GitHub
✨ goal: improvement 💬 talk: discussion 💻 aspect: code 🚧 status: blocked 🟩 priority: low
Langage dominant
Python
Étoiles
48
Forks
74
Métriques de merge des PR
Aucune PR mergée en 30 j

Description

## Problem
Each data source in the project currently follows a similar workflow that involves fetching, processing, and report generation. However, these steps are executed through individual scripts, which can make the process difficult to automate, monitor, and maintain — especially when scaling to multiple data sources.

## Description
I propose using Apache Airflow to orchestrate and automate the data workflows.
Each data source can be represented as an Airflow DAG, with tasks corresponding to each stage:

- Fetch: Collect data from APIs or external sources.

- Process: Clean, transform, and aggregate the data.

- Report: Generate summaries or metrics for analysis.

This approach would improve visibility, scheduling, error handling, and reusability across all data pipelines.

## Alternatives

- Continue using manual script execution

- Implement lightweight scheduling within Python scripts.

## Additional context
This integration aligns with the existing three-phase workflow structure and can easily wrap around current scripts without major codebase refactoring. Airflow also supports modular task development, which would benefit future contributors.

## Implementation

- [x] I would be interested in implementing this feature.

Guide de contribution

Ouvrir le guide de contribution

Piste de recherche

Aucun fichier, test ou point d’entrée spécifique n’est indiqué. Commencez par localiser les scripts fetch, process et report existants pour chaque source de données, puis déterminez comment ils pourraient être associés à des tâches Airflow DAG ; le travail sera considéré comme terminé lorsque les workflows seront planifiés, observables et prendront en charge la gestion des erreurs sans perturber les phases existantes.

Rédigé par le modèle d'indexation à partir du texte de l'issue.

Évaluation

Stack technique
python
Domaine
data-engineering
Type d'issue
Fonctionnalité
Difficulté
5/5
Temps estimé
Plus d'une semaine
Activité
À l'abandon
Clarté
À clarifier
Accessibilité débutants
25/100

Recevez les nouvelles issues par e-mail

Un résumé court des issues GitHub adaptées aux débutants.