apache / apache/parquet-java

ConsecutiveChunkList's length field should be long instead of int

Aperta
#2,615 1 commento 0 reazioni 0 assegnatari Vedi su GitHub
Component: Parquet Priority: Major Type: bug
Lingua principale
Java
Stelle
3.1k
Fork
1.6k
Merge medio
3g 12h
PR unite (30g)
33

Descrizione

Hi, we encountered some read failure for large column chunk(size > Int.MaxValue). After some debugging, the buggy code is that ConsecutiveChunkList's length field is int, and it overflows when the uncompressed size of one ColumnChunk is large than Int.MaxValue.

 

Below is the exception stack:

![image-2021-05-10-17-12-00-083.png](https://issues.apache.org/jira/secure/attachment/13025233/image-2021-05-10-17-12-00-083.png)

 

The column size is some what:

![image-2021-05-10-17-14-45-401.png](https://issues.apache.org/jira/secure/attachment/13025232/image-2021-05-10-17-14-45-401.png)

**Reporter**: [YE](https://issues.apache.org/jira/secure/ViewProfile.jspa?name=advancedxy) / @advancedxy
**Assignee**: [YE](https://issues.apache.org/jira/secure/ViewProfile.jspa?name=advancedxy) / @advancedxy
#### Original Issue Attachments:
- [image-2021-05-10-17-12-00-083.png](https://issues.apache.org/jira/secure/attachment/13025233/image-2021-05-10-17-12-00-083.png)
- [image-2021-05-10-17-14-45-401.png](https://issues.apache.org/jira/secure/attachment/13025232/image-2021-05-10-17-14-45-401.png)

**Note**: *This issue was originally created as [PARQUET-2045](https://issues.apache.org/jira/browse/PARQUET-2045). Please see the [migration documentation](https://issues.apache.org/jira/browse/PARQUET-2502) for further details.*

Guida per i contributori

Nessuna guida per i contributori indicizzata per questo repository

Direzione di ricerca

Individua ConsecutiveChunkList e segui come viene utilizzato il suo campo length durante la lettura di un grande blocco di colonna. Riproduci il problema segnalato con una dimensione non compressa superiore a Int.MaxValue, quindi verifica che length venga gestito senza overflow e che la lettura vada a buon fine.

Scritto dal modello di indicizzazione a partire dal testo della issue.

Valutazione

Stack tecnologico
java
Ambito
data-engineering
Tipo di issue
Bug
Difficoltà
3/5
Tempo stimato
1-2 giorni
Stato di attività
Ferma
Chiarezza
Abbastanza chiara
Idoneità per principianti
30/100

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.