Parquet silently discards decimal values if they do not fit in declared type
- Langage dominant
- Java
- Étoiles
- 3.1k
- Forks
- 1.6k
- Merge moyen
- 3 j 12 h
- PR mergées (30 j)
- 33
Description
If I declare a schema with a DecimalType(7,2) and I try and write a value that will not fit, such as 123,456.00 and then read it back, I get a null value i.e. the data is silently discarded.
I have written up a full example to demonstrate this, here:
https://github.com/andygrove/spark-parquet-decimal-bug
**Environment**: Ubuntu 15.10
**Reporter**: [Andy Grove](https://issues.apache.org/jira/secure/ViewProfile.jspa?name=andygrove) / @andygrove
**Note**: *This issue was originally created as [PARQUET-578](https://issues.apache.org/jira/browse/PARQUET-578). Please see the [migration documentation](https://issues.apache.org/jira/browse/PARQUET-2502) for further details.*
Guide de contribution
Aucun guide de contribution indexé pour ce dépôt
Piste de recherche
Aucun fichier source ni test n’est nommé. Commencez par exécuter l’exemple complet lié dans l’issue et comparez l’écriture et la lecture d’une valeur qui dépasse DecimalType(7,2) ; le travail est terminé lorsque le nombre décimal hors limites est géré explicitement au lieu d’être renvoyé silencieusement comme null.
Rédigé par le modèle d'indexation à partir du texte de l'issue.
Évaluation
- Stack technique
- java
- Domaine
- data-engineering
- Type d'issue
- Bug
- Difficulté
- 4/5
- Temps estimé
- 3-5 jours
- Activité
- À l'abandon
- Clarté
- À clarifier
- Accessibilité débutants
- 32/100