ConsecutiveChunkList's length field should be long instead of int
- Langage dominant
- Java
- Étoiles
- 3.1k
- Forks
- 1.6k
- Merge moyen
- 3 j 12 h
- PR mergées (30 j)
- 33
Description
Hi, we encountered some read failure for large column chunk(size > Int.MaxValue). After some debugging, the buggy code is that ConsecutiveChunkList's length field is int, and it overflows when the uncompressed size of one ColumnChunk is large than Int.MaxValue.
Below is the exception stack:

The column size is some what:

**Reporter**: [YE](https://issues.apache.org/jira/secure/ViewProfile.jspa?name=advancedxy) / @advancedxy
**Assignee**: [YE](https://issues.apache.org/jira/secure/ViewProfile.jspa?name=advancedxy) / @advancedxy
#### Original Issue Attachments:
- [image-2021-05-10-17-12-00-083.png](https://issues.apache.org/jira/secure/attachment/13025233/image-2021-05-10-17-12-00-083.png)
- [image-2021-05-10-17-14-45-401.png](https://issues.apache.org/jira/secure/attachment/13025232/image-2021-05-10-17-14-45-401.png)
**Note**: *This issue was originally created as [PARQUET-2045](https://issues.apache.org/jira/browse/PARQUET-2045). Please see the [migration documentation](https://issues.apache.org/jira/browse/PARQUET-2502) for further details.*
Guide de contribution
Aucun guide de contribution indexé pour ce dépôt
Piste de recherche
Localisez ConsecutiveChunkList et suivez la manière dont son champ length est utilisé lors de la lecture d’un grand bloc de colonne. Reproduisez l’échec signalé avec une taille non compressée supérieure à Int.MaxValue, puis vérifiez que length est géré sans dépassement et que la lecture aboutit.
Rédigé par le modèle d'indexation à partir du texte de l'issue.
Évaluation
- Stack technique
- java
- Domaine
- data-engineering
- Type d'issue
- Bug
- Difficulté
- 3/5
- Temps estimé
- 1-2 jours
- Activité
- À l'abandon
- Clarté
- Plutôt claire
- Accessibilité débutants
- 30/100