ClassCastException
- Langage dominant
- Java
- Étoiles
- 3.1k
- Forks
- 1.6k
- Merge moyen
- 3 j 12 h
- PR mergées (30 j)
- 33
Description
Hi
I'm writing protobuf to Parquet using ProtoParquetWriter, i'm also writing to local HDFS and write only one file.
my code running in a bit data environment.
the problem is that after about 30 min of run i'm starting to get exception like this:
java.lang.ClassCastException: org.apache.parquet.io.MessageColumnIO cannot be cast to org.apache.parquet.io.PrimitiveColumnIO
at org.apache.parquet.io.MessageColumnIO$MessageColumnIORecordConsumer.getColumnWriter(MessageColumnIO.java:432)
at org.apache.parquet.io.MessageColumnIO$MessageColumnIORecordConsumer.addLong(MessageColumnIO.java:449)
at org.apache.parquet.proto.ProtoWriteSupport$LongWriter.writeRawValue(ProtoWriteSupport.java:294)
at org.apache.parquet.proto.ProtoWriteSupport$FieldWriter.writeField(ProtoWriteSupport.java:145)
at org.apache.parquet.proto.ProtoWriteSupport$MessageWriter.writeAllFields(ProtoWriteSupport.java:229)
at org.apache.parquet.proto.ProtoWriteSupport$MessageWriter.writeTopLevelMessage(ProtoWriteSupport.java:194)
I printed the message that cause to this error and I can't see any problem with it.
any idea?
**Reporter**: [the coder](https://issues.apache.org/jira/secure/ViewProfile.jspa?name=theCoder)
**Note**: *This issue was originally created as [PARQUET-1541](https://issues.apache.org/jira/browse/PARQUET-1541). Please see the [migration documentation](https://issues.apache.org/jira/browse/PARQUET-2502) for further details.*
Guide de contribution
Aucun guide de contribution indexé pour ce dépôt
Piste de recherche
Commencez par les emplacements de la trace de pile dans org.apache.parquet.io.MessageColumnIO.java et org.apache.parquet.proto.ProtoWriteSupport.java, puis examinez comment ProtoParquetWriter gère la structure de message signalée. Reproduisez l’échec au cours d’une écriture plus longue si possible ; le travail est terminé lorsque la ClassCastException est expliquée et qu’un test de régression démontre le comportement corrigé.
Rédigé par le modèle d'indexation à partir du texte de l'issue.
Évaluation
- Stack technique
- java
- Domaine
- data
- Type d'issue
- Bug
- Difficulté
- 4/5
- Temps estimé
- 3-5 jours
- Activité
- À l'abandon
- Clarté
- À clarifier
- Accessibilité débutants
- 25/100