InstIDEA / InstIDEA/controlciudadano

Integrar datos de Policia y Municipalidad de asunción

Open
#292 0 comments 0 reactions 0 assignees View on GitHub
etl portal
Dominant language
TypeScript
Stars
5
Forks
3
PR merge metrics
No merged PRs in 30d

Description

# Subtareas:

* [x] Descargar periodicamente fuente de datos
* [x] Parsear los datos descargados
* [ ] #293
* [ ] Crear un DAG que invoque al API
* [ ] Agregar a busqueda de personas
* [ ] Agregar a página de persona

## Consideraciones de API de parseadores

Tres posibles respuestas:

1. IN_PROGRESS: se acepto la solicitud, y la misma sera procesada
2. ERROR: se proceso la solicitud, pero hubo un error (guardar el error entero en una columna)
3. DONE: se retorna el archivo entero

## Tareas del dag

* Recorrer lista de archivos posibles
* Enviar peticion al parseador
* Si es ERROR retornar fallar
* Si es IN_PROGRESS: retornar suceso
* Si es DONE: continuar
* bajar archivo
* Preparar tabla (si no existe crearla, si existe pero ya tiene datos del mes eliminar datos del mes)
* Subir a fuente de datos (a data_sources)

Contributor guide

No contributing guide indexed for this repository

Research direction

Start by locating the parser API, the DAG entry point, the person search and person page integrations, and the data_sources handling described in the issue. Trace the three parser responses and the monthly table update flow. Done means the DAG downloads and processes each available file, handles IN_PROGRESS, ERROR, and DONE correctly, and exposes the data in person search and pages.

Written by the indexing model from the issue text.

Assessment

Tech stack
typescript
Domain
api, data-engineering
Issue type
Feature
Difficulty
5/5
Estimated time
Over a week
Activity status
Stale
Clarity
Mostly clear
Newbie friendliness
25/100

Get new issues in your inbox

A short digest of beginner-friendly GitHub issues.