Cache FileStatus in Footer to reduce redundant NameNode RPC calls
- Langage dominant
- Java
- Étoiles
- 3.1k
- Forks
- 1.6k
- Merge moyen
- 3 j 12 h
- PR mergées (30 j)
- 33
Description
### Describe the enhancement requested
Optimization reduces redundant getFileStatus() RPC calls to the NameNode
when processing Parquet files.
Benefits:
- Reduces NameNode RPC calls by 1 per Parquet file during split generation
- For workloads with thousands of small files, this can significantly reduce
NameNode pressure and improve job startup time
- Maintains full backward compatibility with existing code paths
### Component(s)
Core
Guide de contribution
Aucun guide de contribution indexé pour ce dépôt
Piste de recherche
Commencez par suivre les appels à getFileStatus() lors de la génération des splits Parquet et examinez comment le Footer est traité pour chaque fichier Parquet. Confirmez où un cache FileStatus peut rester dans le chemin de code existant sans modifier le comportement. Le travail est terminé lorsqu’il y a un RPC NameNode de moins par fichier, que la rétrocompatibilité est préservée et que le nombre d’appels est réduit pour les charges de travail comportant de nombreux petits fichiers.
Rédigé par le modèle d'indexation à partir du texte de l'issue.
Évaluation
- Stack technique
- hadoop, java
- Domaine
- distributed-systems
- Type d'issue
- Fonctionnalité
- Difficulté
- 4/5
- Temps estimé
- 3-5 jours
- Activité
- À l'abandon
- Clarté
- À clarifier
- Accessibilité débutants
- 35/100