Retire _metadata generation
- Lenguaje dominante
- Java
- Estrellas
- 3.1k
- Forks
- 1.6k
- Merge medio
- 3 d 12 h
- PR fusionados (30 d)
- 33
Descripción
We can disable _metadata file generation since it is not being used anymore to reduce the memory usage during commit phase.
We are keeping the _common_metadata since it is less memory expensive.
**Reporter**: [elif dede](https://issues.apache.org/jira/secure/ViewProfile.jspa?name=elif) / @elifdd-zz
**Assignee**: [elif dede](https://issues.apache.org/jira/secure/ViewProfile.jspa?name=elif) / @elifdd-zz
**Note**: *This issue was originally created as [PARQUET-179](https://issues.apache.org/jira/browse/PARQUET-179). Please see the [migration documentation](https://issues.apache.org/jira/browse/PARQUET-2502) for further details.*
Guía de contribución
No hay ninguna guía de contribución indexada para este repositorio
Línea de trabajo
En el issue no se menciona ningún archivo ni prueba. Empieza siguiendo la generación de _metadata durante la fase de commit y, después, verifica dónde se conserva _common_metadata. Se considera terminado cuando _metadata ya no se genera, _common_metadata sigue estando disponible y el cambio reduce el uso de memoria durante la fase de commit.
Escrito por el modelo de indexación a partir del texto del issue.
Evaluación
- Stack tecnológico
- java
- Área
- data-engineering
- Tipo de issue
- Refactorización
- Dificultad
- 4/5
- Tiempo estimado
- 3-5 días
- Estado de actividad
- Estancado
- Claridad
- Bastante claro
- Aptitud para principiantes
- 35/100