apache / apache/parquet-java

Array Index OutOf Bounds Exception when fall Back Dictionary Encoded Data

Aperta
#2,488 2 commenti 0 reazioni 0 assegnatari Vedi su GitHub
Component: Java Component: Parquet Priority: Major Type: bug
Lingua principale
Java
Stelle
3.1k
Fork
1.6k
Merge medio
3g 12h
PR unite (30g)
33

Descrizione

java.lang.ArrayIndexOutOfBoundsException: 39782
\n\tat org.apache.parquet.column.values.dictionary.DictionaryValuesWriter$PlainBinaryDictionaryValuesWriter.fallBackDictionaryEncodedData(DictionaryValuesWriter.java:284)
\n\tat org.apache.parquet.column.values.dictionary.DictionaryValuesWriter.fallBackAllValuesTo(DictionaryValuesWriter.java:123)
\n\tat org.apache.parquet.column.values.fallback.FallbackValuesWriter.fallBack(FallbackValuesWriter.java:147)
\n\tat org.apache.parquet.column.values.fallback.FallbackValuesWriter.checkFallback(FallbackValuesWriter.java:141)
\n\tat org.apache.parquet.column.values.fallback.FallbackValuesWriter.writeBytes(FallbackValuesWriter.java:163)
\n\tat org.apache.parquet.column.impl.ColumnWriterV1.write(ColumnWriterV1.java:201)
\n\tat org.apache.parquet.io.MessageColumnIO$MessageColumnIORecordConsumer.addBinary(MessageColumnIO.java:467)
\n\tat org.apache.parquet.io.RecordConsumerLoggingWrapper.addBinary(RecordConsumerLoggingWrapper.java:119)
\n\tat org.apache.parquet.example.data.simple.BinaryValue.writeValue(BinaryValue.java:45)
\n\tat org.apache.parquet.example.data.simple.SimpleGroup.writeValue(SimpleGroup.java:229)
\n\tat org.apache.parquet.example.data.GroupWriter.writeGroup(GroupWriter.java:51)
\n\tat org.apache.parquet.example.data.GroupWriter.write(GroupWriter.java:37)
\n\tat org.apache.parquet.hadoop.example.GroupWriteSupport.write(GroupWriteSupport.java:79)
\n\tat org.apache.parquet.hadoop.example.GroupWriteSupport.write(GroupWriteSupport.java:36)
\n\tat org.apache.parquet.hadoop.InternalParquetRecordWriter.write(InternalParquetRecordWriter.java:123)
\n\tat org.apache.parquet.hadoop.ParquetWriter.write(ParquetWriter.java:293)

**Reporter**: [jiangbo](https://issues.apache.org/jira/secure/ViewProfile.jspa?name=jiangbo)

**Note**: *This issue was originally created as [PARQUET-1852](https://issues.apache.org/jira/browse/PARQUET-1852). Please see the [migration documentation](https://issues.apache.org/jira/browse/PARQUET-2502) for further details.*

Guida per i contributori

Nessuna guida per i contributori indicizzata per questo repository

Direzione di ricerca

Inizia da DictionaryValuesWriter.java in fallBackDictionaryEncodedData, riga 284, e traccia le chiamate di fallback attraverso DictionaryValuesWriter.java, FallbackValuesWriter.java e ColumnWriterV1.java. Determina l’input che produce l’ArrayIndexOutOfBoundsException segnalata e verifica che il percorso di fallback la gestisca senza l’eccezione, con copertura di regressione se viene identificato un punto di ingresso dei test esistente.

Scritto dal modello di indicizzazione a partire dal testo della issue.

Valutazione

Stack tecnologico
java
Ambito
data-engineering
Tipo di issue
Bug
Difficoltà
4/5
Tempo stimato
3-5 giorni
Stato di attività
Ferma
Chiarezza
Da chiarire
Idoneità per principianti
30/100

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.