apache / apache/parquet-java

Cache FileStatus in Footer to reduce redundant NameNode RPC calls

Offen
#3,394 0 Kommentare 0 Reaktionen 0 zugewiesene Personen Auf GitHub ansehen
Type: enhancement
Vorherrschende Sprache
Java
Sterne
3.1k
Forks
1.6k
Ø Merge
3 T. 12 Std.
Gemergte PRs (30 T.)
33

Beschreibung

### Describe the enhancement requested

Optimization reduces redundant getFileStatus() RPC calls to the NameNode
when processing Parquet files.

Benefits:
- Reduces NameNode RPC calls by 1 per Parquet file during split generation
- For workloads with thousands of small files, this can significantly reduce
  NameNode pressure and improve job startup time
- Maintains full backward compatibility with existing code paths

### Component(s)

Core

Beitragsleitfaden

Für dieses Repository ist kein Beitragsleitfaden indexiert

Rechercherichtung

Beginne damit, die getFileStatus()-Aufrufe während der Parquet-Split-Erzeugung nachzuverfolgen, und untersuche, wie der Footer für jede Parquet-Datei verarbeitet wird. Bestätige, wo ein FileStatus-Cache innerhalb des bestehenden Codepfads verbleiben kann, ohne das Verhalten zu ändern. Als abgeschlossen gilt die Änderung, wenn pro Datei ein NameNode-RPC weniger ausgeführt wird, die Abwärtskompatibilität erhalten bleibt und die Anzahl der Aufrufe bei Workloads mit vielen kleinen Dateien reduziert wird.

Vom Indexierungsmodell aus dem Issue-Text verfasst.

Bewertung

Tech-Stack
hadoop, java
Bereich
distributed-systems
Issue-Typ
Feature
Schwierigkeit
4/5
Geschätzter Aufwand
3-5 Tage
Aktivitätsstatus
Veraltet
Klarheit
Muss geklärt werden
Anfängerfreundlichkeit
35/100

Neue Issues direkt in Ihr Postfach

Eine kurze Übersicht über anfängerfreundliche GitHub-Issues.