apache / apache/parquet-java

ConsecutiveChunkList's length field should be long instead of int

Offen
#2,615 1 Kommentar 0 Reaktionen 0 zugewiesene Personen Auf GitHub ansehen
Component: Parquet Priority: Major Type: bug
Vorherrschende Sprache
Java
Sterne
3.1k
Forks
1.6k
Ø Merge
3 T. 12 Std.
Gemergte PRs (30 T.)
33

Beschreibung

Hi, we encountered some read failure for large column chunk(size > Int.MaxValue). After some debugging, the buggy code is that ConsecutiveChunkList's length field is int, and it overflows when the uncompressed size of one ColumnChunk is large than Int.MaxValue.

 

Below is the exception stack:

![image-2021-05-10-17-12-00-083.png](https://issues.apache.org/jira/secure/attachment/13025233/image-2021-05-10-17-12-00-083.png)

 

The column size is some what:

![image-2021-05-10-17-14-45-401.png](https://issues.apache.org/jira/secure/attachment/13025232/image-2021-05-10-17-14-45-401.png)

**Reporter**: [YE](https://issues.apache.org/jira/secure/ViewProfile.jspa?name=advancedxy) / @advancedxy
**Assignee**: [YE](https://issues.apache.org/jira/secure/ViewProfile.jspa?name=advancedxy) / @advancedxy
#### Original Issue Attachments:
- [image-2021-05-10-17-12-00-083.png](https://issues.apache.org/jira/secure/attachment/13025233/image-2021-05-10-17-12-00-083.png)
- [image-2021-05-10-17-14-45-401.png](https://issues.apache.org/jira/secure/attachment/13025232/image-2021-05-10-17-14-45-401.png)

**Note**: *This issue was originally created as [PARQUET-2045](https://issues.apache.org/jira/browse/PARQUET-2045). Please see the [migration documentation](https://issues.apache.org/jira/browse/PARQUET-2502) for further details.*

Beitragsleitfaden

Für dieses Repository ist kein Beitragsleitfaden indexiert

Rechercherichtung

Finde ConsecutiveChunkList und verfolge, wie sein length-Feld beim Lesen eines großen Column Chunks verwendet wird. Reproduziere den gemeldeten Fehler mit einer unkomprimierten Größe über Int.MaxValue und überprüfe anschließend, dass length ohne Überlauf verarbeitet wird und der Lesevorgang erfolgreich ist.

Vom Indexierungsmodell aus dem Issue-Text verfasst.

Bewertung

Tech-Stack
java
Bereich
data-engineering
Issue-Typ
Bug
Schwierigkeit
3/5
Geschätzter Aufwand
1-2 Tage
Aktivitätsstatus
Veraltet
Klarheit
Größtenteils klar
Anfängerfreundlichkeit
30/100

Neue Issues direkt in Ihr Postfach

Eine kurze Übersicht über anfängerfreundliche GitHub-Issues.