awslabs / awslabs/python-deequ
Data freshness metric
- Lenguaje dominante
- Jupyter Notebook
- Estrellas
- 826
- Forks
- 158
- Merge medio
- 9 d 22 h
- PR fusionados (30 d)
- 3
Descripción
**Is your feature request related to a problem? Please describe.**
I did not find Data freshness metric in the list of Analyzers. We would need this to verify we have the latest data
**Describe the solution you'd like**
An analyzer in deequ and pydeequ that can check data for staleness by days, hours, minutes
**Describe alternatives you've considered**
Considered using Python code to determine freshness but its probably more optimized in deequ (Scala)
Guía de contribución
Línea de trabajo
Revisa los analizadores existentes en Deequ y pyDeequ, comenzando por cómo se representan las entradas de los analizadores y las comprobaciones basadas en el tiempo. Confirma cómo debería funcionar un umbral de frescura a lo largo de días, horas y minutos, y luego verifica el resultado con marcas de tiempo de datos representativas. Se considerará terminado cuando ambas APIs puedan detectar de forma coherente la obsolescencia de los datos.
Escrito por el modelo de indexación a partir del texto del issue.
Evaluación
- Stack tecnológico
- python, scala
- Área
- data-engineering
- Tipo de issue
- Nueva funcionalidad
- Dificultad
- 5/5
- Tiempo estimado
- Más de una semana
- Estado de actividad
- Activo
- Claridad
- Bastante claro
- Aptitud para principiantes
- 35/100