basedosdados / basedosdados/pipelines
[feat] metadados de qualidade
- Dominant language
- Python
- Stars
- 49
- Forks
- 22
- Avg merge
- 19h 31m
- Merged PRs (30d)
- 165
Description
## Contexto
Hoje acompanhamentos qualidade de (meta)dados via um [painel](https://perguntas.basedosdados.org/dashboard/130-acompanhamento-equipe-dados) e pipelines. Essas pipelines mantém [dados](https://basedosdados.org/dataset/br-bd-metadados) sobre qualidade, com indicadores inbutidos.
Issues antigas
* https://github.com/basedosdados/mais/issues/782
* https://github.com/basedosdados/mais/issues/747
* https://github.com/basedosdados/mais/issues/767
## Proposta
A médio prazo, o que precisamos é ter modelos/metadados de qualidade, atualização, documentação, etc. Parte desses metadados serão atualizados automaticamente (via pipelines) e parte será manual via formulário no site. Esses metadados alimentarão nosso painel de acompanhamento.
Construiremos esses modelos na API de Django.
Cada indicador terá uma "data de última atualização". Esse campo será preenchido automaticamente na última atualização, e naturalmente será mais recente para campos atualizados via pipelines.
Esses metadados alimentarão nosso ambiente de revisão de dados e metadados da nova plataforma. Precisaremos desenvolver um ambiente pra isso, com formulário próprio, comentários, revisão, etc.
Indicadores podem usar ferramentas como:
* [Great Expectations](https://greatexpectations.io/)
* Queries SQL (nossos antigos data checks).
* [Swiple](https://github.com/Swiple/swiple)
* [DBT expectations](https://github.com/calogica/dbt-expectations)
Material sobre "data lineage" @crislanealves
* https://medium.com/data-monzo/the-many-layers-of-data-lineage-2eb898709ad3
## Exemplos de indicadores de metadados
* dataset
* tem ao menos 1 tema
* tem ao menos 1 etiqueta
* table
* tabela está materializada? (automático)
* número de linhas consistente com a fonte original? (manual)
* está atualizada? (automático)
* column
* tipo correto? (manual)
* tem ao menos uma linha não-nula? (automático)
* informações iguais no BigQuery e no site (automático)
* ligação nos diretórios (manual)
## Exemplos de indicadores de dados
Nossos saudosos data checks: https://github.com/basedosdados/mais/blob/master/.github/workflows/data-check/checks.yaml
Contributor guide
Assessment
This issue has not been assessed yet.