Array Index OutOf Bounds Exception when fall Back Dictionary Encoded Data
- Vorherrschende Sprache
- Java
- Sterne
- 3.1k
- Forks
- 1.6k
- Ø Merge
- 3 T. 12 Std.
- Gemergte PRs (30 T.)
- 33
Beschreibung
java.lang.ArrayIndexOutOfBoundsException: 39782
\n\tat org.apache.parquet.column.values.dictionary.DictionaryValuesWriter$PlainBinaryDictionaryValuesWriter.fallBackDictionaryEncodedData(DictionaryValuesWriter.java:284)
\n\tat org.apache.parquet.column.values.dictionary.DictionaryValuesWriter.fallBackAllValuesTo(DictionaryValuesWriter.java:123)
\n\tat org.apache.parquet.column.values.fallback.FallbackValuesWriter.fallBack(FallbackValuesWriter.java:147)
\n\tat org.apache.parquet.column.values.fallback.FallbackValuesWriter.checkFallback(FallbackValuesWriter.java:141)
\n\tat org.apache.parquet.column.values.fallback.FallbackValuesWriter.writeBytes(FallbackValuesWriter.java:163)
\n\tat org.apache.parquet.column.impl.ColumnWriterV1.write(ColumnWriterV1.java:201)
\n\tat org.apache.parquet.io.MessageColumnIO$MessageColumnIORecordConsumer.addBinary(MessageColumnIO.java:467)
\n\tat org.apache.parquet.io.RecordConsumerLoggingWrapper.addBinary(RecordConsumerLoggingWrapper.java:119)
\n\tat org.apache.parquet.example.data.simple.BinaryValue.writeValue(BinaryValue.java:45)
\n\tat org.apache.parquet.example.data.simple.SimpleGroup.writeValue(SimpleGroup.java:229)
\n\tat org.apache.parquet.example.data.GroupWriter.writeGroup(GroupWriter.java:51)
\n\tat org.apache.parquet.example.data.GroupWriter.write(GroupWriter.java:37)
\n\tat org.apache.parquet.hadoop.example.GroupWriteSupport.write(GroupWriteSupport.java:79)
\n\tat org.apache.parquet.hadoop.example.GroupWriteSupport.write(GroupWriteSupport.java:36)
\n\tat org.apache.parquet.hadoop.InternalParquetRecordWriter.write(InternalParquetRecordWriter.java:123)
\n\tat org.apache.parquet.hadoop.ParquetWriter.write(ParquetWriter.java:293)
**Reporter**: [jiangbo](https://issues.apache.org/jira/secure/ViewProfile.jspa?name=jiangbo)
**Note**: *This issue was originally created as [PARQUET-1852](https://issues.apache.org/jira/browse/PARQUET-1852). Please see the [migration documentation](https://issues.apache.org/jira/browse/PARQUET-2502) for further details.*
Beitragsleitfaden
Für dieses Repository ist kein Beitragsleitfaden indexiert
Rechercherichtung
Beginne mit DictionaryValuesWriter.java bei fallBackDictionaryEncodedData, Zeile 284, und verfolge die Fallback-Aufrufe durch DictionaryValuesWriter.java, FallbackValuesWriter.java und ColumnWriterV1.java. Ermittle die Eingabe, die die gemeldete ArrayIndexOutOfBoundsException erzeugt, und überprüfe, dass der Fallback-Pfad sie ohne die Ausnahme verarbeitet, mit einer Regressionstestabdeckung, falls ein bestehender Test-Einstiegspunkt identifiziert wird.
Vom Indexierungsmodell aus dem Issue-Text verfasst.
Bewertung
- Tech-Stack
- java
- Bereich
- data-engineering
- Issue-Typ
- Bug
- Schwierigkeit
- 4/5
- Geschätzter Aufwand
- 3-5 Tage
- Aktivitätsstatus
- Veraltet
- Klarheit
- Muss geklärt werden
- Anfängerfreundlichkeit
- 30/100