basedosdados / basedosdados/pipelines

[data] climate_data

Open
#1,059 0 comments 0 reactions 0 assignees View on GitHub
data
Dominant language
Python
Stars
49
Forks
22
Avg merge
1d 3h
Merged PRs (30d)
167

Description

**Metadados da base**

1. Descrição: ERA5 hourly data on single levels from 1940 to present

2. Qual o nome do conjunto? `dataset_id`

3. Qual o nome da(s) tabela(s)? `table_id`

4. Fonte original dos dados
* Endereço: [url](https://cds.climate.copernicus.eu/cdsapp#!/dataset/reanalysis-era5-single-levels?tab=form)
* Tem API? ` / `
* É grátis? ` / `
* Cobertura espacial: ``
* Cobertura temporal: `de YYYY-MM-DD a YYYY-MM-DD`
* Frequência de atualização: ` / / / / / / / `
* Nível de Observação (o que representa cada linha da tabela):
* ` - - `

5. Raspagem
* Nível de dificuldade: ` / / `
* Existe código semi-pronto? ` / `
* Dificuldades de big data (alta frequência, alto volume)? `/ / `

**Tarefas** (seguindo os passos da documentação [aqui](https://basedosdados.github.io/mais/colab_data/))

- [ ] Baixar a pasta template e os dados originais
- [ ] Preencher as tabelas de arquitetura
- [ ] Revisar as tabelas de arquitetura pós correção da equipe
- [ ] Escrever código de captura e limpeza de dados
- [ ] Organizar arquivos brutos, se necessário
- [ ] Organizar arquivos auxiliares, se necessário
- [ ] Criar tabela dicionário, se necessário
- [ ] Subir tabelas no BigQuery
- [ ] Fazer a query para publicação dos dados
- [ ] Abrir o PR com as labels de `table-approve`e `sync-dbt_schema`

Contributor guide

Open the contributing guide

Research direction

No specific files or tests are named. Start with the linked colab_data documentation, then download the template and ERA5 source data to fill the architecture tables and determine the capture and cleaning workflow. Done means completing the listed ingestion, BigQuery publication, query, and pull request tasks with the required labels.

Written by the indexing model from the issue text.

Assessment

Tech stack
python
Domain
data-engineering, databases
Issue type
Feature
Difficulty
4/5
Estimated time
3-5 days
Activity status
Stale
Clarity
Needs clarification
Newbie friendliness
35/100

Get new issues in your inbox

A short digest of beginner-friendly GitHub issues.