apache / apache/parquet-java

Cache FileStatus in Footer to reduce redundant NameNode RPC calls

Aperta
#3,394 0 commenti 0 reazioni 0 assegnatari Vedi su GitHub
Type: enhancement
Lingua principale
Java
Stelle
3.1k
Fork
1.6k
Merge medio
3g 12h
PR unite (30g)
33

Descrizione

### Describe the enhancement requested

Optimization reduces redundant getFileStatus() RPC calls to the NameNode
when processing Parquet files.

Benefits:
- Reduces NameNode RPC calls by 1 per Parquet file during split generation
- For workloads with thousands of small files, this can significantly reduce
  NameNode pressure and improve job startup time
- Maintains full backward compatibility with existing code paths

### Component(s)

Core

Guida per i contributori

Nessuna guida per i contributori indicizzata per questo repository

Direzione di ricerca

Inizia tracciando le chiamate a getFileStatus() durante la generazione degli split Parquet e analizza come viene elaborato il Footer per ogni file Parquet. Conferma dove può rimanere una cache di FileStatus all’interno del percorso di codice esistente senza modificare il comportamento. Il lavoro è completato quando viene effettuata una RPC NameNode in meno per file, viene preservata la compatibilità con le versioni precedenti e vengono ridotte le chiamate per i carichi di lavoro con molti file piccoli.

Scritto dal modello di indicizzazione a partire dal testo della issue.

Valutazione

Stack tecnologico
hadoop, java
Ambito
distributed-systems
Tipo di issue
Funzionalità
Difficoltà
4/5
Tempo stimato
3-5 giorni
Stato di attività
Ferma
Chiarezza
Da chiarire
Idoneità per principianti
35/100

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.