Is big Decimal in Parquet big endian?
- Lenguaje dominante
- Java
- Estrellas
- 3.1k
- Forks
- 1.6k
- Merge medio
- 3 d 12 h
- PR fusionados (30 d)
- 33
Descripción
### Describe the usage question you have. Please include as many useful details as possible.
It's not clear from description https://parquet.apache.org/docs/file-format/data-pages/encodings/ how are big Decimals (precision >= 18) placed. As I could understand they can be encoded as BYTE_ARRAY or FIXED_LEN_BYTE_ARRAY. But there're two ways to place "the bytes contained in the array" from memory: big endian and little endian. I.e. they are in LE in int128 in memory. Could I place the bytes into FIXED_LEN_BYTE_ARRAY as is?
It's also not clean if there's some encoding over these decimal's bytes, should the data be swapped to correct endianness before of after the encoding?
### Component(s)
_No response_
Guía de contribución
No hay ninguna guía de contribución indexada para este repositorio
Línea de trabajo
Comienza con la documentación sobre las codificaciones de las páginas de datos de Parquet enlazada en el issue y verifica el orden de los bytes y las reglas de codificación para los valores decimales de BYTE_ARRAY y FIXED_LEN_BYTE_ARRAY. Se considera terminado documentar si los decimales grandes utilizan bytes en big-endian o little-endian y cuándo se produce alguna codificación o intercambio de bytes.
Escrito por el modelo de indexación a partir del texto del issue.
Evaluación
- Área
- data-engineering
- Tipo de issue
- Documentación
- Dificultad
- 4/5
- Tiempo estimado
- 3-5 días
- Estado de actividad
- Estancado
- Claridad
- Bastante claro
- Aptitud para principiantes
- 35/100