InstIDEA / InstIDEA/controlciudadano

DAG para parseo masivo de PDF

Open
#229 0 comments 0 reactions 0 assignees View on GitHub
etl
Dominant language
TypeScript
Stars
5
Forks
3
PR merge metrics
No merged PRs in 30d

Description

Actualmente se cuenta con un microservicio que es capaz de recibir un PDF y retornar en formato JSON los datos necesarios para el análisis, la idea de este ticket es crear un DAG que permita hacer este proceso automático y con todos los PDF con los que contamos.

# Notes

* Hay una buena cantidad de pdfs que fueron generados de manera incorrecta (con patrimonio neto, activos y pasivos en 0), es necesario detectar estos casos y volver a bajar. Una posible solución para esto es que, durante la ejecución del DAG de este ticket, el parser retorne si este es o no el caso y el DAG elimine la fila correspondiente, de esta manera se podrá ejecutar posteriormente el dag que baja los PDF y debería bajar uno correcto.
* Debe trabajar en paralelo

# Definition of done

* [ ] DAG creado que guarde el resultado del parseo del PDF
* [ ] Todas las declaraciones juradas que se bajaron se parsean y se guardan sus datos.

Contributor guide

No contributing guide indexed for this repository

Assessment

This issue has not been assessed yet.

Get new issues in your inbox

A short digest of beginner-friendly GitHub issues.