basedosdados / basedosdados/pipelines

[data] br_bcb_ifdata

Open
#1,041 1 comment 0 reactions 0 assignees View on GitHub
data
Dominant language
Python
Stars
49
Forks
22
Avg merge
19h 31m
Merged PRs (30d)
165

Description

---
name: 'Issue: br_bcb_ifdata'
about: Novos dados para serem adicionados à BD
title: "[dados] br_bcb_ifdata"
labels: ''
assignees: ''

-**Metadados da base**

1. Descrição:A base contém informações sobre instituições financeiras no Brasil, incluindo dados cadastrais, valores financeiros completos, relatórios bancários e informações gerais das instituições. As tabelas apresentam dados extraídos do Banco Central do Brasil (IFDATA API) e são categorizadas de acordo com o tipo de instituição, períodos trimestrais e relatórios específicos.

2. Qual o nome do conjunto? `br_bcb_ifdata`

3. Qual o nome da(s) tabela(s)? `ifdata_valores_completos: Contém informações detalhadas sobre valores financeiros de instituições bancárias.
informacoes_bancarias: Dados cadastrais e operacionais das instituições bancárias brasileiras.
instituicoes_bancarias_brasileiras: Lista de instituições bancárias com informações gerais como nome, CNPJ e data de início de operação.
lista_relatorios: Informações sobre os relatórios disponíveis no sistema IFData.`

4. Fonte original dos dados
* Endereço: ``
* Tem API? ``
* É grátis? ` `
* Cobertura espacial: ``
* Cobertura temporal: `De 2002-01-01 a 2024-12-31`
* Frequência de atualização: `Trimestral (Quarter) `
* Nível de Observação (o que representa cada linha da tabela):
* ifdata_valores_completos: Valores financeiros associados a contas e segmentos bancários.
* informacoes_bancarias: Instituições bancárias e suas operações.
* instituicoes_bancarias_brasileiras: Detalhes de identificação e atividade das instituições.
* lista_relatorios: Relatórios disponíveis no sistema IFData.

5. Raspagem
* Nível de dificuldade: `< `
* Existe código semi-pronto? ``
* Dificuldades de big data (alta frequência, alto volume)? ` `

**Tarefas** (seguindo os passos da documentação [aqui](https://basedosdados.github.io/mais/colab_data/))

- [ X ] Baixar a pasta template e os dados originais
- [ X ] Preencher as tabelas de arquitetura
[lista_relatorios.xlsx](https://github.com/user-attachments/files/18399998/lista_relatorios.xlsx)
[informacoes_bancarias.xlsx](https://github.com/user-attachments/files/18400000/informacoes_bancarias.xlsx)
[ifdata_valores_completos.xlsx](https://github.com/user-attachments/files/18400001/ifdata_valores_completos.xlsx)
[instituicoes_bancarias_brasileiras.xlsx](https://github.com/user-attachments/files/18400002/instituicoes_bancarias_brasileiras.xlsx)
- [ ] Revisar as tabelas de arquitetura pós correção da equipe
- [ X ] Escrever código de captura e limpeza de dados
- [ X ] Organizar arquivos brutos, se necessário
- [ ] Organizar arquivos auxiliares, se necessário
- [ ] Criar tabela dicionário, se necessário
- [ ] Subir tabelas no BigQuery
- [ ] Fazer a query para publicação dos dados
- [ ] Abrir o PR com as labels de `table-approve`e `sync-dbt_schema`

Contributor guide

Open the contributing guide

Research direction

Start with the linked colab_data documentation, the existing semi-ready capture and cleaning code, and the four attached architecture spreadsheets. Check the Banco Central IFData API and verify the remaining architecture, auxiliary and dictionary work before loading the tables into BigQuery. Done means a publication query is prepared and a pull request is opened with the requested labels.

Written by the indexing model from the issue text.

Assessment

Tech stack
python
Domain
data-engineering, databases
Issue type
Feature
Difficulty
4/5
Estimated time
3-5 days
Activity status
Quiet
Clarity
Mostly clear
Newbie friendliness
35/100

Get new issues in your inbox

A short digest of beginner-friendly GitHub issues.