basedosdados / basedosdados/pipelines

[databug] Inconsistência entre a API e o BigQuery

Open
#1,764 1 comment 0 reactions 0 assignees View on GitHub
databug
Dominant language
Python
Stars
49
Forks
22
Avg merge
1d 3h
Merged PRs (30d)
167

Description

### Tabela afetada

br_me_cnpj.estabelecimentos, br_bd_diretorios_mundo.pais e br_ibge_ipca.mes_categoria_rm

### Descrição do problema nos dados

#### 1. `basedosdados.br_me_cnpj.estabelecimentos`
ID da tabela: b8432ff5-06c8-45ca-b8b6-33fceb24089d

A api retorna:
```
"temporalCoverage": {
"start": "2021-11",
"end": "2026-07-10"
}
```
mas na tabela do BigQuery a data mais atual é **2026-07-12**.

#### 2. `basedosdados.br_bd_diretorios_mundo.pais`
ID da tabela: 3f10f34f-c5d1-4298-8fc2-a356c4cd8c65

A api retorna 13 colunas:
- id_pais_fao
- id_pais_gaul
- id_pais_m49
- nacionalidade
- nome
- nome_ingles
- nome_oficial_ingles
- sigla_continente
- sigla_pais_coi
- sigla_pais_fifa
- sigla_pais_iso2
- sigla_pais_iso3
- sigla_pais_pnud

mas na tabela do BigQuery existem **15 colunas**, e com **nomes diferentes**:
- id_m49
- id_fao
- id_gaul
- id_cow
- sigla_iso3
- sigla_iso2
- sigla_pnud
- sigla_cow
- sigla_coi
- sigla_fifa
- nome_pt
- nome_en
- nome_oficial_en
- nacionalidade
- sigla_continente

#### 3. `basedosdados.br_ibge_ipca.mes_categoria_rm`
ID da tabela: 9ef8b582-abca-4c95-a999-201358971762

A api retorna as colunas:
- ano
- mes
- categoria
- id_categoria
- id_categoria_bd
- id_regiao_metropolitana
- peso_mensal
- variacao_anual
- variacao_doze_meses
- variacao_mensal

mas na tabela do BigQuery as colunas são:
- ano
- mes
- categoria
- id_categoria
- sigla_uf
- regiao_metropolitana
- peso_mensal
- variacao_anual
- variacao_doze_meses
- variacao_mensal

ou seja, as colunas `id_categoria_bd` e `id_regiao_metropolitana` foram removidas e/ou renomeadas e a coluna `sigla_uf` foi adicionada.

### Evidência

Não é necessário consulta SQL, basta observar o schema das tabelas. Para conferir os resultados da api, a query abaixo pode ser utilizada com os IDs das tabelas:
```gql
query getTableColumns{
allTable(id: , first: 1){
edges {
node {
id
name
slug
description
temporalCoverage
columns {
edges {
node {
name
description
bigqueryType {
name
}
}
}
}
}
}
}
}
```

### Referências

_No response_

Contributor guide

Open the contributing guide

Research direction

Start by running the provided GraphQL query for the three table IDs and comparing its metadata with the corresponding BigQuery schemas. Trace where temporal coverage and column metadata are produced in the repository. Done means the API reports the current dates, complete column sets, and current names for all three tables.

Written by the indexing model from the issue text.

Assessment

Tech stack
google-cloud, python
Domain
api, data, databases
Issue type
Bug
Difficulty
4/5
Estimated time
3-5 days
Activity status
Quiet
Clarity
Mostly clear
Newbie friendliness
52/100

Get new issues in your inbox

A short digest of beginner-friendly GitHub issues.