basedosdados / basedosdados/pipelines

[feat] metadados de qualidade

Open
#625 0 comments 0 reactions 1 assignee Assigned to @laura-l-amaral View on GitHub
feat
Dominant language
Python
Stars
49
Forks
22
Avg merge
19h 31m
Merged PRs (30d)
165

Description

## Contexto

Hoje acompanhamentos qualidade de (meta)dados via um [painel](https://perguntas.basedosdados.org/dashboard/130-acompanhamento-equipe-dados) e pipelines. Essas pipelines mantém [dados](https://basedosdados.org/dataset/br-bd-metadados) sobre qualidade, com indicadores inbutidos.

Issues antigas
* https://github.com/basedosdados/mais/issues/782
* https://github.com/basedosdados/mais/issues/747
* https://github.com/basedosdados/mais/issues/767

## Proposta

A médio prazo, o que precisamos é ter modelos/metadados de qualidade, atualização, documentação, etc. Parte desses metadados serão atualizados automaticamente (via pipelines) e parte será manual via formulário no site. Esses metadados alimentarão nosso painel de acompanhamento.

Construiremos esses modelos na API de Django.

Cada indicador terá uma "data de última atualização". Esse campo será preenchido automaticamente na última atualização, e naturalmente será mais recente para campos atualizados via pipelines.

Esses metadados alimentarão nosso ambiente de revisão de dados e metadados da nova plataforma. Precisaremos desenvolver um ambiente pra isso, com formulário próprio, comentários, revisão, etc.

Indicadores podem usar ferramentas como:
* [Great Expectations](https://greatexpectations.io/)
* Queries SQL (nossos antigos data checks).
* [Swiple](https://github.com/Swiple/swiple)
* [DBT expectations](https://github.com/calogica/dbt-expectations)

Material sobre "data lineage" @crislanealves
* https://medium.com/data-monzo/the-many-layers-of-data-lineage-2eb898709ad3

## Exemplos de indicadores de metadados

* dataset
* tem ao menos 1 tema
* tem ao menos 1 etiqueta
* table
* tabela está materializada? (automático)
* número de linhas consistente com a fonte original? (manual)
* está atualizada? (automático)
* column
* tipo correto? (manual)
* tem ao menos uma linha não-nula? (automático)
* informações iguais no BigQuery e no site (automático)
* ligação nos diretórios (manual)

## Exemplos de indicadores de dados

Nossos saudosos data checks: https://github.com/basedosdados/mais/blob/master/.github/workflows/data-check/checks.yaml

Contributor guide

Open the contributing guide

Assessment

This issue has not been assessed yet.

Get new issues in your inbox

A short digest of beginner-friendly GitHub issues.