apache / apache/parquet-java

Harden variant decoding

Abierto
#3,561 0 comentarios 0 reacciones 0 asignados Ver en GitHub
Type: enhancement
Lenguaje dominante
Java
Estrellas
3.1k
Forks
1.6k
Merge medio
3 d 12 h
PR fusionados (30 d)
33

Descripción

### Describe the enhancement requested

org.apache.parquet.variant.Variant is brittle against malformed variants, whereas the arrow variant is very strict and includes an optional deep validate phase

* Harden the java implementation, where it doesn't impose any performance penalty
* add tests which can also generate malformed files to add to the parquet test files

The work in #3481 should include some of this or this should be an immediate followon (preferred)

### Component(s)

parquet-variant

Guía de contribución

No hay ninguna guía de contribución indexada para este repositorio

Línea de trabajo

Comienza leyendo org.apache.parquet.variant.Variant y el componente parquet-variant; después, compara su manejo de entradas malformadas con Arrow variant y revisa el trabajo de #3481. Se considera terminado cuando la decodificación de variant en Java es más robusta sin un coste de rendimiento innecesario, con pruebas que generen archivos malformados y los añadan a los archivos de prueba de Parquet.

Escrito por el modelo de indexación a partir del texto del issue.

Evaluación

Stack tecnológico
java
Área
data
Tipo de issue
Nueva funcionalidad
Dificultad
4/5
Tiempo estimado
3-5 días
Estado de actividad
Tranquilo
Claridad
Necesita aclaración
Aptitud para principiantes
42/100

Recibe los nuevos issues en tu correo

Un resumen breve de issues de GitHub para principiantes.