awslabs / awslabs/python-deequ

Data freshness metric

Cerrado
#205 3 comentarios 0 reacciones 0 asignados Ver en GitHub
enhancement
Lenguaje dominante
Jupyter Notebook
Estrellas
826
Forks
158
Merge medio
9 d 22 h
PR fusionados (30 d)
3

Descripción

**Is your feature request related to a problem? Please describe.**
I did not find Data freshness metric in the list of Analyzers. We would need this to verify we have the latest data

**Describe the solution you'd like**
An analyzer in deequ and pydeequ that can check data for staleness by days, hours, minutes

**Describe alternatives you've considered**
Considered using Python code to determine freshness but its probably more optimized in deequ (Scala)

Guía de contribución

Abrir la guía de contribución

Línea de trabajo

Revisa los analizadores existentes en Deequ y pyDeequ, comenzando por cómo se representan las entradas de los analizadores y las comprobaciones basadas en el tiempo. Confirma cómo debería funcionar un umbral de frescura a lo largo de días, horas y minutos, y luego verifica el resultado con marcas de tiempo de datos representativas. Se considerará terminado cuando ambas APIs puedan detectar de forma coherente la obsolescencia de los datos.

Escrito por el modelo de indexación a partir del texto del issue.

Evaluación

Stack tecnológico
python, scala
Área
data-engineering
Tipo de issue
Nueva funcionalidad
Dificultad
5/5
Tiempo estimado
Más de una semana
Estado de actividad
Activo
Claridad
Bastante claro
Aptitud para principiantes
35/100

Recibe los nuevos issues en tu correo

Un resumen breve de issues de GitHub para principiantes.