basedosdados / basedosdados/pipelines
[data] climate_data
- Dominant language
- Python
- Stars
- 49
- Forks
- 22
- Avg merge
- 1d 3h
- Merged PRs (30d)
- 167
Description
**Metadados da base**
1. Descrição: ERA5 hourly data on single levels from 1940 to present
2. Qual o nome do conjunto? `dataset_id`
3. Qual o nome da(s) tabela(s)? `table_id`
4. Fonte original dos dados
* Endereço: [url](https://cds.climate.copernicus.eu/cdsapp#!/dataset/reanalysis-era5-single-levels?tab=form)
* Tem API? ` / `
* É grátis? ` / `
* Cobertura espacial: ``
* Cobertura temporal: `de YYYY-MM-DD a YYYY-MM-DD`
* Frequência de atualização: ` / / / / / / / `
* Nível de Observação (o que representa cada linha da tabela):
* ` - - `
5. Raspagem
* Nível de dificuldade: ` / / `
* Existe código semi-pronto? ` / `
* Dificuldades de big data (alta frequência, alto volume)? `/ / `
**Tarefas** (seguindo os passos da documentação [aqui](https://basedosdados.github.io/mais/colab_data/))
- [ ] Baixar a pasta template e os dados originais
- [ ] Preencher as tabelas de arquitetura
- [ ] Revisar as tabelas de arquitetura pós correção da equipe
- [ ] Escrever código de captura e limpeza de dados
- [ ] Organizar arquivos brutos, se necessário
- [ ] Organizar arquivos auxiliares, se necessário
- [ ] Criar tabela dicionário, se necessário
- [ ] Subir tabelas no BigQuery
- [ ] Fazer a query para publicação dos dados
- [ ] Abrir o PR com as labels de `table-approve`e `sync-dbt_schema`
Contributor guide
Research direction
No specific files or tests are named. Start with the linked colab_data documentation, then download the template and ERA5 source data to fill the architecture tables and determine the capture and cleaning workflow. Done means completing the listed ingestion, BigQuery publication, query, and pull request tasks with the required labels.
Written by the indexing model from the issue text.
Assessment
- Tech stack
- python
- Domain
- data-engineering, databases
- Issue type
- Feature
- Difficulty
- 4/5
- Estimated time
- 3-5 days
- Activity status
- Stale
- Clarity
- Needs clarification
- Newbie friendliness
- 35/100