Improve the creation of ExecutorService when reading footers
- Vorherrschende Sprache
- Java
- Sterne
- 3.1k
- Forks
- 1.6k
- Ø Merge
- 3 T. 12 Std.
- Gemergte PRs (30 T.)
- 33
Beschreibung
Doing some benchmarks loading a large set of parquet files (3000+) from the local FS, we observed some inefficiencies in the number of created threads when reading footers.
By reading, the read the configuration parallelism in Hadoop configuration (defaulted to 5) and allocate 2 ExecuteService with each 5 threads to read footers. This is especially inefficient if there is less Callable to handle than the configured parallelism.
**Reporter**: [Benoit Lacelle](https://issues.apache.org/jira/secure/ViewProfile.jspa?name=blasd)
**Note**: *This issue was originally created as [PARQUET-1055](https://issues.apache.org/jira/browse/PARQUET-1055). Please see the [migration documentation](https://issues.apache.org/jira/browse/PARQUET-2502) for further details.*
Beitragsleitfaden
Für dieses Repository ist kein Beitragsleitfaden indexiert
Rechercherichtung
Das Issue identifiziert das Lesen von Footern und die Parallelität der Hadoop-Konfiguration als Einstiegspunkte. Verfolge, wo die beiden ExecutorService-Instanzen erstellt werden, und vergleiche ihre Größe mit der Anzahl der Callable-Footer-Tasks. Erledigt ist die Aufgabe, wenn überzählige Threads vermieden werden, sobald weniger Tasks als die konfigurierte Parallelität vorhanden sind.
Vom Indexierungsmodell aus dem Issue-Text verfasst.
Bewertung
- Tech-Stack
- java
- Bereich
- data-engineering
- Issue-Typ
- Bug
- Schwierigkeit
- 4/5
- Geschätzter Aufwand
- 3-5 Tage
- Aktivitätsstatus
- Veraltet
- Klarheit
- Größtenteils klar
- Anfängerfreundlichkeit
- 35/100