basedosdados / basedosdados/pipelines
[data] br_bcb_ifdata
- Dominant language
- Python
- Stars
- 49
- Forks
- 22
- Avg merge
- 19h 31m
- Merged PRs (30d)
- 165
Description
---
name: 'Issue: br_bcb_ifdata'
about: Novos dados para serem adicionados à BD
title: "[dados] br_bcb_ifdata"
labels: ''
assignees: ''
-**Metadados da base**
1. Descrição:A base contém informações sobre instituições financeiras no Brasil, incluindo dados cadastrais, valores financeiros completos, relatórios bancários e informações gerais das instituições. As tabelas apresentam dados extraídos do Banco Central do Brasil (IFDATA API) e são categorizadas de acordo com o tipo de instituição, períodos trimestrais e relatórios específicos.
2. Qual o nome do conjunto? `br_bcb_ifdata`
3. Qual o nome da(s) tabela(s)? `ifdata_valores_completos: Contém informações detalhadas sobre valores financeiros de instituições bancárias.
informacoes_bancarias: Dados cadastrais e operacionais das instituições bancárias brasileiras.
instituicoes_bancarias_brasileiras: Lista de instituições bancárias com informações gerais como nome, CNPJ e data de início de operação.
lista_relatorios: Informações sobre os relatórios disponíveis no sistema IFData.`
4. Fonte original dos dados
* Endereço: ``
* Tem API? ``
* É grátis? ` `
* Cobertura espacial: ``
* Cobertura temporal: `De 2002-01-01 a 2024-12-31`
* Frequência de atualização: `Trimestral (Quarter) `
* Nível de Observação (o que representa cada linha da tabela):
* ifdata_valores_completos: Valores financeiros associados a contas e segmentos bancários.
* informacoes_bancarias: Instituições bancárias e suas operações.
* instituicoes_bancarias_brasileiras: Detalhes de identificação e atividade das instituições.
* lista_relatorios: Relatórios disponíveis no sistema IFData.
5. Raspagem
* Nível de dificuldade: `< `
* Existe código semi-pronto? ``
* Dificuldades de big data (alta frequência, alto volume)? ` `
**Tarefas** (seguindo os passos da documentação [aqui](https://basedosdados.github.io/mais/colab_data/))
- [ X ] Baixar a pasta template e os dados originais
- [ X ] Preencher as tabelas de arquitetura
[lista_relatorios.xlsx](https://github.com/user-attachments/files/18399998/lista_relatorios.xlsx)
[informacoes_bancarias.xlsx](https://github.com/user-attachments/files/18400000/informacoes_bancarias.xlsx)
[ifdata_valores_completos.xlsx](https://github.com/user-attachments/files/18400001/ifdata_valores_completos.xlsx)
[instituicoes_bancarias_brasileiras.xlsx](https://github.com/user-attachments/files/18400002/instituicoes_bancarias_brasileiras.xlsx)
- [ ] Revisar as tabelas de arquitetura pós correção da equipe
- [ X ] Escrever código de captura e limpeza de dados
- [ X ] Organizar arquivos brutos, se necessário
- [ ] Organizar arquivos auxiliares, se necessário
- [ ] Criar tabela dicionário, se necessário
- [ ] Subir tabelas no BigQuery
- [ ] Fazer a query para publicação dos dados
- [ ] Abrir o PR com as labels de `table-approve`e `sync-dbt_schema`
Contributor guide
Research direction
Start with the linked colab_data documentation, the existing semi-ready capture and cleaning code, and the four attached architecture spreadsheets. Check the Banco Central IFData API and verify the remaining architecture, auxiliary and dictionary work before loading the tables into BigQuery. Done means a publication query is prepared and a pull request is opened with the requested labels.
Written by the indexing model from the issue text.
Assessment
- Tech stack
- python
- Domain
- data-engineering, databases
- Issue type
- Feature
- Difficulty
- 4/5
- Estimated time
- 3-5 days
- Activity status
- Quiet
- Clarity
- Mostly clear
- Newbie friendliness
- 35/100