apache / apache/parquet-java

Cache FileStatus in Footer to reduce redundant NameNode RPC calls

Abierto
#3,394 0 comentarios 0 reacciones 0 asignados Ver en GitHub
Type: enhancement
Lenguaje dominante
Java
Estrellas
3.1k
Forks
1.6k
Merge medio
3 d 12 h
PR fusionados (30 d)
33

Descripción

### Describe the enhancement requested

Optimization reduces redundant getFileStatus() RPC calls to the NameNode
when processing Parquet files.

Benefits:
- Reduces NameNode RPC calls by 1 per Parquet file during split generation
- For workloads with thousands of small files, this can significantly reduce
  NameNode pressure and improve job startup time
- Maintains full backward compatibility with existing code paths

### Component(s)

Core

Guía de contribución

No hay ninguna guía de contribución indexada para este repositorio

Línea de trabajo

Comienza rastreando las llamadas a getFileStatus() durante la generación de splits de Parquet e inspecciona cómo se procesa el Footer para cada archivo Parquet. Confirma dónde puede permanecer una caché de FileStatus dentro de la ruta de código existente sin cambiar el comportamiento. Se considera completado cuando haya una RPC de NameNode menos por archivo, se preserve la compatibilidad hacia atrás y se reduzcan las llamadas para cargas de trabajo con muchos archivos pequeños.

Escrito por el modelo de indexación a partir del texto del issue.

Evaluación

Stack tecnológico
hadoop, java
Área
distributed-systems
Tipo de issue
Nueva funcionalidad
Dificultad
4/5
Tiempo estimado
3-5 días
Estado de actividad
Estancado
Claridad
Necesita aclaración
Aptitud para principiantes
35/100

Recibe los nuevos issues en tu correo

Un resumen breve de issues de GitHub para principiantes.