Improve the creation of ExecutorService when reading footers
- Langage dominant
- Java
- Étoiles
- 3.1k
- Forks
- 1.6k
- Merge moyen
- 3 j 12 h
- PR mergées (30 j)
- 33
Description
Doing some benchmarks loading a large set of parquet files (3000+) from the local FS, we observed some inefficiencies in the number of created threads when reading footers.
By reading, the read the configuration parallelism in Hadoop configuration (defaulted to 5) and allocate 2 ExecuteService with each 5 threads to read footers. This is especially inefficient if there is less Callable to handle than the configured parallelism.
**Reporter**: [Benoit Lacelle](https://issues.apache.org/jira/secure/ViewProfile.jspa?name=blasd)
**Note**: *This issue was originally created as [PARQUET-1055](https://issues.apache.org/jira/browse/PARQUET-1055). Please see the [migration documentation](https://issues.apache.org/jira/browse/PARQUET-2502) for further details.*
Guide de contribution
Aucun guide de contribution indexé pour ce dépôt
Piste de recherche
L’issue identifie la lecture des footers et le parallélisme de la configuration Hadoop comme points d’entrée. Repérez où les deux instances de ExecutorService sont créées et comparez leur taille au nombre de tâches Callable de footer. Le travail est terminé lorsque les threads superflus sont évités lorsqu’il y a moins de tâches que le parallélisme configuré.
Rédigé par le modèle d'indexation à partir du texte de l'issue.
Évaluation
- Stack technique
- java
- Domaine
- data-engineering
- Type d'issue
- Bug
- Difficulté
- 4/5
- Temps estimé
- 3-5 jours
- Activité
- À l'abandon
- Clarté
- Plutôt claire
- Accessibilité débutants
- 35/100