apache / apache/parquet-java

ClassCastException

Ouverte
#2,307 1 commentaire 0 réactions 0 personnes assignées Voir sur GitHub
Component: Java Component: Parquet Priority: Major Type: bug
Langage dominant
Java
Étoiles
3.1k
Forks
1.6k
Merge moyen
3 j 12 h
PR mergées (30 j)
33

Description

Hi

I'm writing protobuf to Parquet using ProtoParquetWriter, i'm also writing to local HDFS and write only  one file.

my code running in a bit data environment.

the problem is that after about 30 min of run i'm starting to get exception like this:

 

java.lang.ClassCastException: org.apache.parquet.io.MessageColumnIO cannot be cast to org.apache.parquet.io.PrimitiveColumnIO
 at org.apache.parquet.io.MessageColumnIO$MessageColumnIORecordConsumer.getColumnWriter(MessageColumnIO.java:432)
 at org.apache.parquet.io.MessageColumnIO$MessageColumnIORecordConsumer.addLong(MessageColumnIO.java:449)
 at org.apache.parquet.proto.ProtoWriteSupport$LongWriter.writeRawValue(ProtoWriteSupport.java:294)
 at org.apache.parquet.proto.ProtoWriteSupport$FieldWriter.writeField(ProtoWriteSupport.java:145)
 at org.apache.parquet.proto.ProtoWriteSupport$MessageWriter.writeAllFields(ProtoWriteSupport.java:229)
 at org.apache.parquet.proto.ProtoWriteSupport$MessageWriter.writeTopLevelMessage(ProtoWriteSupport.java:194)

 

I printed the message that cause to this error and I can't see any problem with it.

any idea?

 

**Reporter**: [the coder](https://issues.apache.org/jira/secure/ViewProfile.jspa?name=theCoder)

**Note**: *This issue was originally created as [PARQUET-1541](https://issues.apache.org/jira/browse/PARQUET-1541). Please see the [migration documentation](https://issues.apache.org/jira/browse/PARQUET-2502) for further details.*

Guide de contribution

Aucun guide de contribution indexé pour ce dépôt

Piste de recherche

Commencez par les emplacements de la trace de pile dans org.apache.parquet.io.MessageColumnIO.java et org.apache.parquet.proto.ProtoWriteSupport.java, puis examinez comment ProtoParquetWriter gère la structure de message signalée. Reproduisez l’échec au cours d’une écriture plus longue si possible ; le travail est terminé lorsque la ClassCastException est expliquée et qu’un test de régression démontre le comportement corrigé.

Rédigé par le modèle d'indexation à partir du texte de l'issue.

Évaluation

Stack technique
java
Domaine
data
Type d'issue
Bug
Difficulté
4/5
Temps estimé
3-5 jours
Activité
À l'abandon
Clarté
À clarifier
Accessibilité débutants
25/100

Recevez les nouvelles issues par e-mail

Un résumé court des issues GitHub adaptées aux débutants.