Cache FileStatus in Footer to reduce redundant NameNode RPC calls
- Lenguaje dominante
- Java
- Estrellas
- 3.1k
- Forks
- 1.6k
- Merge medio
- 3 d 12 h
- PR fusionados (30 d)
- 33
Descripción
### Describe the enhancement requested
Optimization reduces redundant getFileStatus() RPC calls to the NameNode
when processing Parquet files.
Benefits:
- Reduces NameNode RPC calls by 1 per Parquet file during split generation
- For workloads with thousands of small files, this can significantly reduce
NameNode pressure and improve job startup time
- Maintains full backward compatibility with existing code paths
### Component(s)
Core
Guía de contribución
No hay ninguna guía de contribución indexada para este repositorio
Línea de trabajo
Comienza rastreando las llamadas a getFileStatus() durante la generación de splits de Parquet e inspecciona cómo se procesa el Footer para cada archivo Parquet. Confirma dónde puede permanecer una caché de FileStatus dentro de la ruta de código existente sin cambiar el comportamiento. Se considera completado cuando haya una RPC de NameNode menos por archivo, se preserve la compatibilidad hacia atrás y se reduzcan las llamadas para cargas de trabajo con muchos archivos pequeños.
Escrito por el modelo de indexación a partir del texto del issue.
Evaluación
- Stack tecnológico
- hadoop, java
- Área
- distributed-systems
- Tipo de issue
- Nueva funcionalidad
- Dificultad
- 4/5
- Tiempo estimado
- 3-5 días
- Estado de actividad
- Estancado
- Claridad
- Necesita aclaración
- Aptitud para principiantes
- 35/100