Limit the number of rows per block and per split
- Lingua principale
- Java
- Stelle
- 3.1k
- Fork
- 1.6k
- Merge medio
- 3g 12h
- PR unite (30g)
- 33
Descrizione
We use Parquet to store raw metrics data and then query this data with Hadoop-Pig.
The issue is that sometimes we end up with small Parquet files (~80mo) that contain more than 300 000 000 rows, usually because of a constant metric which results in a very good compression. Too good. As a result we have a very few number of maps that process up to 10x more rows than the other maps and we lose the benefits of the parallelization.
The fix for that has two components I believe:
1. Be able to limit the number of rows per Parquet block (in addition to the size limit).
2. Be able to limit the number of rows per split.
**Reporter**: [Quentin Francois](https://issues.apache.org/jira/secure/ViewProfile.jspa?name=QuentinFra)
#### Externally tracked issue: [https://github.com/apache/parquet-mr/pull/251](https://github.com/apache/parquet-mr/pull/251)
**Note**: *This issue was originally created as [PARQUET-344](https://issues.apache.org/jira/browse/PARQUET-344). Please see the [migration documentation](https://issues.apache.org/jira/browse/PARQUET-2502) for further details.*
Guida per i contributori
Nessuna guida per i contributori indicizzata per questo repository
Direzione di ricerca
Inizia esaminando i requisiti di Parquet relativi a righe/blocchi e split in questa issue e nella pull request 251 tracciata esternamente, prestando attenzione alla parallelizzazione delle query Hadoop-Pig. Il lavoro è completato quando sono supportati limiti di righe configurabili sia per i blocchi sia per gli split, preservando il comportamento esistente del limite di dimensione.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Valutazione
- Stack tecnologico
- hadoop, java
- Ambito
- data-engineering, distributed-systems
- Tipo di issue
- Funzionalità
- Difficoltà
- 4/5
- Tempo stimato
- 3-5 giorni
- Stato di attività
- Ferma
- Chiarezza
- Abbastanza chiara
- Idoneità per principianti
- 25/100