basedosdados / basedosdados/pipelines
[databug] Inconsistência entre a API e o BigQuery
- Dominant language
- Python
- Stars
- 49
- Forks
- 22
- Avg merge
- 1d 3h
- Merged PRs (30d)
- 167
Description
### Tabela afetada
br_me_cnpj.estabelecimentos, br_bd_diretorios_mundo.pais e br_ibge_ipca.mes_categoria_rm
### Descrição do problema nos dados
#### 1. `basedosdados.br_me_cnpj.estabelecimentos`
ID da tabela: b8432ff5-06c8-45ca-b8b6-33fceb24089d
A api retorna:
```
"temporalCoverage": {
"start": "2021-11",
"end": "2026-07-10"
}
```
mas na tabela do BigQuery a data mais atual é **2026-07-12**.
#### 2. `basedosdados.br_bd_diretorios_mundo.pais`
ID da tabela: 3f10f34f-c5d1-4298-8fc2-a356c4cd8c65
A api retorna 13 colunas:
- id_pais_fao
- id_pais_gaul
- id_pais_m49
- nacionalidade
- nome
- nome_ingles
- nome_oficial_ingles
- sigla_continente
- sigla_pais_coi
- sigla_pais_fifa
- sigla_pais_iso2
- sigla_pais_iso3
- sigla_pais_pnud
mas na tabela do BigQuery existem **15 colunas**, e com **nomes diferentes**:
- id_m49
- id_fao
- id_gaul
- id_cow
- sigla_iso3
- sigla_iso2
- sigla_pnud
- sigla_cow
- sigla_coi
- sigla_fifa
- nome_pt
- nome_en
- nome_oficial_en
- nacionalidade
- sigla_continente
#### 3. `basedosdados.br_ibge_ipca.mes_categoria_rm`
ID da tabela: 9ef8b582-abca-4c95-a999-201358971762
A api retorna as colunas:
- ano
- mes
- categoria
- id_categoria
- id_categoria_bd
- id_regiao_metropolitana
- peso_mensal
- variacao_anual
- variacao_doze_meses
- variacao_mensal
mas na tabela do BigQuery as colunas são:
- ano
- mes
- categoria
- id_categoria
- sigla_uf
- regiao_metropolitana
- peso_mensal
- variacao_anual
- variacao_doze_meses
- variacao_mensal
ou seja, as colunas `id_categoria_bd` e `id_regiao_metropolitana` foram removidas e/ou renomeadas e a coluna `sigla_uf` foi adicionada.
### Evidência
Não é necessário consulta SQL, basta observar o schema das tabelas. Para conferir os resultados da api, a query abaixo pode ser utilizada com os IDs das tabelas:
```gql
query getTableColumns{
allTable(id: , first: 1){
edges {
node {
id
name
slug
description
temporalCoverage
columns {
edges {
node {
name
description
bigqueryType {
name
}
}
}
}
}
}
}
}
```
### Referências
_No response_
Contributor guide
Research direction
Start by running the provided GraphQL query for the three table IDs and comparing its metadata with the corresponding BigQuery schemas. Trace where temporal coverage and column metadata are produced in the repository. Done means the API reports the current dates, complete column sets, and current names for all three tables.
Written by the indexing model from the issue text.
Assessment
- Tech stack
- google-cloud, python
- Domain
- api, data, databases
- Issue type
- Bug
- Difficulty
- 4/5
- Estimated time
- 3-5 days
- Activity status
- Quiet
- Clarity
- Mostly clear
- Newbie friendliness
- 52/100