basedosdados / basedosdados/pipelines

[data] mundo_vdem_dataset

Open
#1,058 1 comment 0 reactions 0 assignees View on GitHub
data
Dominant language
Python
Stars
49
Forks
22
Avg merge
1d 3h
Merged PRs (30d)
167

Description

---
name: 'Issue: Novos dados'
about: Novos dados para serem adicionados à BD
title: "[dados] mundo_vdem"
labels: ''
assignees: ''Vitor Tomaz"

-**Metadados da base**

1. Descrição: O V-Dem (Varieties of Democracy) é uma das principais pesquisas globais que tenta medir democratização. Com uma abordagem multidimensional que inclui mais de 600 indicadores para todos os países do mundo e dados desde 1789, o V-Dem permite analisar a evolução das democracias a partir de diversas definiçòes (chamadas princípios), como a Eleitoral, a Liberal, a Majoritária, a Consensual, a Deliberatória e a Participativa. Diiversos outros projetos utilizam os índices do V-Dem, como o Global State of Democracy e o Digital Society Survey. O V-Dem utiliza uma abordagem estatística para agregar as respostas de mais de 4000 experts nacionais para seu questionário.

2. Qual o nome do conjunto? `mundo_vdem_dataset`

3. Qual o nome da(s) tabela(s)? `dataset`

4. Fonte original dos dados
* Endereço: `[](https://v-dem.net/data/the-v-dem-dataset/country-year-v-dem-fullothers-v13/)`
* Tem API? `não`
* É grátis? `sim`
* Cobertura espacial: ``
* Cobertura temporal: `de 1789-01-01 a 2022-12-31`
* Frequência de atualização: ``
* Nível de Observação (o que representa cada linha da tabela):
* `vdem-pais-ano`

5. Raspagem
* Nível de dificuldade: `médio`
* Existe código semi-pronto? `não`
* Dificuldades de big data (alta frequência, alto volume)? `não`

**Tarefas** (seguindo os passos da documentação [aqui](https://basedosdados.github.io/mais/colab_data/))

- [x] Baixar a pasta template e os dados originais
- [ ] Preencher as tabelas de arquitetura
- [ ] Revisar as tabelas de arquitetura pós correção da equipe
- [ ] Escrever código de captura e limpeza de dados
- [ ] Organizar arquivos brutos, se necessário
- [ ] Organizar arquivos auxiliares, se necessário
- [ ] Criar tabela dicionário, se necessário
- [ ] Subir tabelas no BigQuery
- [ ] Fazer a query para publicação dos dados
- [ ] Abrir o PR com as labels de `table-approve`e `sync-dbt_schema`

Contributor guide

Open the contributing guide

Research direction

Start with the downloaded template, the original V-Dem country-year dataset, and the data workflow documented at https://basedosdados.github.io/mais/colab_data/. Complete the architecture tables before writing capture and cleaning code, then organize raw and auxiliary files and create the dictionary table if needed. Done means the dataset is uploaded to BigQuery, the publication query is prepared, and a pull request has the requested labels.

Written by the indexing model from the issue text.

Assessment

Tech stack
python
Domain
data-engineering, databases
Issue type
Feature
Difficulty
4/5
Estimated time
3-5 days
Activity status
Stale
Clarity
Needs clarification
Newbie friendliness
25/100

Get new issues in your inbox

A short digest of beginner-friendly GitHub issues.